2 핵심 — 질의 종류별로 강점이 갈린다
gemini-3.6-flash
| 전략 | find_target (옮긴 물체) | find_distractor (안 건드린 물체) |
|---|
| blind (대조군) | 0.00 | 0.33 |
| textlog (이벤트 로그) | 0.50 | 0.08 |
| rollforward-v2 (자필 노트) | 0.00 | 0.08 |
| vis-pure (자선별 프레임) | 0.17 | 0.75 |
| frames-uniform (균등 16장) | 0.17 | 0.67 |
claude-sonnet-5
| 전략 | find_target (옮긴 물체) | find_distractor (안 건드린 물체) |
|---|
| blind (대조군) | 0.00 | 0.00 |
| textlog (이벤트 로그) | 0.50 | 0.00 |
| rollforward-v2 (자필 노트) | 0.17 | 0.42 |
| vis-pure (자선별 프레임) | 0.17 | 0.92 |
| frames-uniform (균등 16장) | 0.00 | 0.58 |
상보성이 뚜렷하다. find_target(로봇이 옮긴 물체)은 이벤트 로그가 정확히 기록하는 대상이라 textlog가 앞서고, find_distractor(지나치며 본 물체)는 로그에 아예 등장하지 않아 textlog가 0.00으로 무력하다 — 대신 프레임에는 남아 있어 vis-pure가 0.92를 낸다. 두 채널이 서로의 사각을 덮는다는 뜻이고, 벤치마크가 두 질의 종류를 나눈 설계가 실제로 다른 능력을 잰다는 증거다.
바닥(떨어뜨린) 답 vs 표면 답
gemini-3.6-flash
| 전략 | 바닥 답 | 표면 답 |
|---|
| blind (대조군) | 0.00 | 0.29 |
| textlog (이벤트 로그) | 0.75 | 0.07 |
| rollforward-v2 (자필 노트) | 0.00 | 0.07 |
| vis-pure (자선별 프레임) | 0.25 | 0.64 |
| frames-uniform (균등 16장) | 0.25 | 0.57 |
claude-sonnet-5
| 전략 | 바닥 답 | 표면 답 |
|---|
| blind (대조군) | 0.00 | 0.00 |
| textlog (이벤트 로그) | 0.75 | 0.00 |
| rollforward-v2 (자필 노트) | 0.00 | 0.43 |
| vis-pure (자선별 프레임) | 0.00 | 0.86 |
| frames-uniform (균등 16장) | 0.00 | 0.50 |
바닥 답은 텍스트만 맞힌다. "떨어뜨렸다"는 사건은 로그에 남지만, 바닥에 놓인 작은 물체는 키프레임에서 잘 안 보인다. 시각 전략은 바닥 답에서 전부 0.00이고 대신 그럴듯한 표면을 답한다(§4 ④).
4 실물 — 모델 출력 원문
① textlog: 낙하 기록으로 바닥을 추론 정답
모델: claude-sonnet-5 · 전략: textlog · val_693__0
질의: "Pick up the vase I moved earlier"
GT : [(None, 'floor')]
[모델 출력 원문]
{"reasoning": "The vase was last picked up from the toilet in the bathroom and carried toward the shelving unit in the kitchen, but it could not be placed there, meaning it was dropped and ended up on the floor near the shelf in the kitchen.", "selections": [{"category": "vase", "room": "kitchen", "surface": "floor"}], "abstain": false}
② vis-pure: 지나치며 본 물체를 프레임에서 회수 정답
모델: claude-sonnet-5 · 전략: rollforward-vis-pure · val_693__0
질의: "Pick up the fork"
GT : [('kitchen', 'countertop')]
[모델 출력 원문]
{"reasoning": "The fork appeared on the marble kitchen countertop at t=0.0s and t=16.2s, near the egg and spray bottle. It was never picked up or moved in later frames, so it should still be resting there.", "selections": [{"category": "fork", "room": "kitchen", "surface": "countertop"}], "abstain": false}
③ textlog의 원리적 한계: 이벤트 로그에 없는 물체 → 정직한 기권 기권
모델: claude-sonnet-5 · 전략: textlog · val_693__0
질의: "Pick up the fork"
GT : [('kitchen', 'countertop')]
[모델 출력 원문]
{"reasoning": "The episode transcript never mentions a fork being picked up, moved, or seen anywhere. There is no information about its location.", "selections": [], "abstain": true}
④ vis-pure의 약점: 바닥에 떨어진 물체를 표면으로 오답 오답
모델: claude-sonnet-5 · 전략: rollforward-vis-pure · val_693__0
질의: "Pick up all the bowls I moved earlier"
GT : [('kitchen', 'dining table'), ('kitchen', 'countertop')]
[모델 출력 원문]
{"reasoning": "A single white bowl appears on the desk (with statue, lamp, box) at t=258-270s, then is carried and placed on the marble kitchen countertop (with spray bottle and soap dispenser) at t=323-328s, matching the final view. No other bowls were observed being moved.", "selections": [{"category": "bowl", "room": "kitchen", "surface": "countertop"}], "abstain": false}