TL;DR
- Restore ②(남이 옮긴 물체 되돌리기, 196행)는 벤치에서 가장 어려운 Direct 셀: 최고 loc = flash-3.7 vis-pure .292(place .144). 같은 모델 ①은 .458–.528. API 다른 두 모델과 8B는 ② ≤ .13.
- 행동 로그 오라클(textlog)은 ②에서 정확히 0으로 무너진다(①.93–.95 → ②.01–.05). 로봇이 안 한 일은 로그에 없다 — ②열이 "관찰 증거" 열이라는 설계가 실측으로 확정.
- 텍스트 메모리(rf-v3·tagmem)는 ②에서 붕괴, 이미지 메모리(vis-pure)는 절반을 버틴다(flash-3.7: tagmem .53→.13, rf-v3 .25→.08, vis .46→.29). tagmem은 "지금 자리"는 맞히고(now 정답 91/196) "처음 자리"를 못 찾는다(검색이 이른 목격을 안 가져옴).
- G1(blind ≤ chance) 6/6 통과(blind .006–.074), 오류행 sonnet 38(빈 응답)·나머지 0. 실비 KST 9/6 $59.80 + 9/7 $79.87 = $139.67, 오픈 3종 $0.
- [9/7–8 추가] Stateful ②(남이 옮긴 물체 2–3개 되돌리기, HF 6511da78 신규 57행): 6모델 전부 ≤ .11 — flash-3.7 vis-pure .107, 나머지 전략·모델 ≤ .05, 오라클 0. 읽기 전용 델타(메모리 재사용), API $15.03. 575행 전체 본표는 보관소
tables/grid_all_rows_with_cells.md(예: flash-3.7 vis .327 / tagmem .286 / 오라클 .531).
- 모든 원천은
final_results/restore_v1.1_609076c0/(표·메모리·원문 I/O). find 본표는 v1.0 그대로.
.292
D② 최고 loc (flash-3.7 vis-pure)
.03
D② 오라클 loc (flash-3.7)
1설정
- 데이터: v1.1(609076c0) restore 518행 =
restore_target 322(로봇이 옮김) + restore_distractor 196(남이 옮김; first 139 / previous 57). 47편 재렌더, 53편 v1과 동일.
- 메모리: 47편은 v1.1 영상으로 전 전략 ingest 재작성, 53편은 v1.0 메모리 재사용(재채점 변경 0). 공통: cap 8, writer 전문 v1, 30 s 청크 × 4프레임, 질의 프레임 exo_camera_1 마지막 1장.
- 모델: Gemini 3.7 Flash · Claude Sonnet 5 · GPT-5.6-luna(게이트웨이 기본 디코딩) + Qwen3-VL-8B · Cosmos-Reason2-8B · Molmo2-8B(자체 서빙 greedy). flash-3.6 보류(사용자 260906).
- 전략 6: blind · textlog(행동 로그 오라클) · frames-uniform · rf-v3(MEM-style) · vis-pure(MemER-style) · tagmem-r3(ours). rf-v2는 측정은 됐지만 논문 미사용(보관소
*_incl_rfv2_NOT_IN_PAPER.md에만).
- 채점: loc = now·original 두 면의 방이 모두 맞아야 1(다중집합), place = 표면까지. 기권·파싱 실패 = 0.
2본표 — 518행 전체 (loc/place)
| 전략 | flash-3.7 | sonnet-5 | luna | qwen3vl-8b | cosmos-r2-8b | molmo2-8b |
|---|
| blind | .035/.010 | .006/.002 | .027/.002 | .031/.004 | .074/.010 | .037/.002 |
| textlog (oracle) | .589/.481 | .575/.485 | .585/.478 | .261/.195 | .228/.177 | .363/.306 |
| frames-uniform | .248/.107 | .138/.031 | .154/.037 | .070/.019 | .101/.012 | .078/.012 |
| rf-v3 (MEM-style) | .150/.051 | .135/.023 | .140/.018 | .027/.004 | .066/.018 | .023/.006 |
| vis-pure (MemER-style) | .351/.162 | .133/.037 | .138/.027 | .078/.016 | .086/.016 | .068/.008 |
| tagmem-r3 (ours) | .316/.138 | .103/.031 | .135/.025 | .043/.008 | .037/.006 | .039/.002 |
오라클이 .59에서 멈추는 이유는 distractor 196행(오라클 ≈0)이 섞여서다: target 322행만 보면 API 3모델 오라클 .93–.95. 비오라클 순위: flash-3.7 vis > tagmem > frames > rf-v3; sonnet·luna는 frames ≈ rf-v3 ≈ vis ≈ tagmem(.10–.15, 동률권); 8B는 전부 ≤ .10. 기권율: blind .77/.97/.84(API), rf-v3 .23–.61, tagmem .20–.64, vis·frames ≤ .16.
3격자 셀 — Direct ① vs ② (single, hidden 제외; loc)
| 모델 | blind | textlog | frames | rf-v3 | vis-pure | tagmem |
|---|
| flash-3.7 ①→② | .05→.04 | .95→.03 | .37→.17 | .25→.08 | .46→.29 | .53→.13 |
| sonnet-5 ①→② | .01→.00 | .94→.01 | .18→.11 | .19→.11 | .20→.10 | .17→.08 |
| luna ①→② | .04→.02 | .93→.05 | .23→.13 | .20→.10 | .19→.11 | .20→.09 |
| qwen3vl-8b ①→② | .06→.02 | .38→.02 | .12→.03 | .05→.01 | .11→.07 | .07→.03 |
| cosmos-r2-8b ①→② | .12→.05 | .34→.04 | .15→.08 | .11→.05 | .12→.06 | .06→.03 |
| molmo2-8b ①→② | .06→.02 | .65→.02 | .12→.04 | .05→.00 | .08→.06 | .06→.03 |
① n=215(target single, hidden 제외) · ② n=196(distractor single). D③ hidden 56 · S① target multi 51은 보관소 표 참조.
Stateful ① vs ② — multi (loc/place)
| 셀 | 전략 | flash-3.7 | sonnet-5 | luna | qwen3vl-8b | cosmos-r2-8b | molmo2-8b |
|---|
| S① 내가 옮긴 것 multi (n=51) | textlog | .840/.580 | .860/.600 | .860/.600 | .420/.340 | .320/.200 | .380/.300 |
| frames | .100/.000 | .040/.000 | .060/.000 | .040/.000 | .020/.000 | .060/.000 |
| vis-pure | .140/.060 | .040/.000 | .080/.000 | .020/.000 | .020/.000 | .060/.000 |
| tagmem | .160/.040 | .000/.000 | .060/.000 | .040/.000 | .000/.000 | .020/.000 |
| S② 남이 옮긴 것 multi (n=57, 9/7 신규) | textlog | .000/.000 | .000/.000 | .036/.000 | .000/.000 | .054/.000 | .000/.000 |
| frames | .036/.018 | .036/.000 | .036/.000 | .000/.000 | .000/.000 | .000/.000 |
| vis-pure | .107/.036 | .000/.000 | .000/.000 | .036/.000 | .000/.000 | .000/.000 |
| tagmem | .018/.000 | .018/.000 | .018/.000 | .000/.000 | .000/.000 | .000/.000 |
S②(HF 6511da78, 2026-09-07): 42편에서 같은 편의 first-origin distractor 2–3개를 and로 접은 행("Pick up the A and the B and place them in or on where they first were"), 이종 클래스, n_hops 혼합(두 번 목격 물체 포함 32행). 47편 v1.1 메모리를 재사용한 읽기 전용 델타. loc는 모든 답의 now·original 방이 전부 맞아야 1이라 multi에서 급락한다 — S①도 오라클 외 ≤ .16.
오라클 0의 뜻. textlog는 subtasks.json(로봇 행동 기록)만 본다. ②의 물체는 로봇이 만진 적이 없으니 로그에 없고, 모델은 정직하게 기권한다(flash-3.7 ② 기권 84%). 논문 표에서 ② 열의 오라클은 "action-log oracle N/A"로 표기해야 한다.
텍스트 vs 이미지. flash-3.7에서 tagmem .53→.13, rf-v3 .25→.08인데 vis-pure는 .46→.29. writer가 "로봇이 안 만진 물체가 다른 자리에 있다"는 사실을 노트에 적지 않거나(rf-v3), 적어도 검색이 이른 목격 항목을 못 가져온다(tagmem). 보관 프레임 8장은 그 물체가 두 자리에 있던 장면을 그대로 담아 모델이 직접 대조할 수 있다.
4② 오답 해부 — flash-3.7, 196행
| 전략 | 둘 다 정답 | now만 정답 | original만 정답 | 둘 다 오답 | 기권 |
|---|
| vis-pure | 57 | 38 | 38 | 44 | 19 |
| tagmem-r3 | 25 | 66 | 12 | 35 | 58 |
tagmem은 now를 91/196 맞히지만 original은 37/196만 맞힌다 — "지금 어디"는 최근 항목으로 풀리고 "처음 어디"는 이른 목격 항목을 검색해야 하는데 그 항목이 안 뽑히거나 애초에 저장되지 않았다. vis-pure는 now·original 대칭(각 95/196).
원문 예시
[정답 — vis-pure, first] restore:train_2102__1:q03 "Pick up the soap bottle and place it in or on where it first was"
GT now kitchen/dining table · original bedroom/dresser
RAW "The soap bottle (soapdispenser) was first seen in the bedroom on top of the dresser. It was later moved to the dining
table in the kitchen, where it remains." → now kitchen/dining table · original bedroom/dresser (loc 1 · place 1)
[now만 정답 — tagmem, 같은 질의] retrieved ids [5, 13, 14, 15]
RAW "The soap bottle is located on the dining table in the kitchen, where it was also originally found."
→ original kitchen/dining table (이른 목격 항목 미검색 → "원래 거기 있었다"로 추정)
[오답 — vis-pure, first] restore:train_2738__0:q05 "Pick up the kettle and place it in or on where it first was"
GT now bedroom/chair · original kitchen/dining table
RAW "The kettle (boiler) was seen resting on the desk in the bedroom at t=460.0s and was not moved during the episode."
→ 보관 프레임에 첫 자리 장면이 없어 "안 옮겨졌다"로 단정 (now도 desk로 오답)
[오답 — rf-v3, first] restore:train_1299__2:q02 "Pick up the paper towel roll …"
RAW "According to the memory summary, the paper towel is on the dining table in the living room / dining area and was not
moved during the episode." → 텍스트 메모리에는 위치 하나만 남아 "이동 없음"으로 추정
[기권 — textlog, first] restore:train_1847__1:q02 "Pick up the soap bottle …"
RAW "The action history does not contain any mention of a soap bottle … cannot be determined from memory." → abstain
실패 유형 정리. ① 로그 부재(textlog, 설계상) ② 메모리에 위치 하나만 남아 "안 옮겨짐" 단정(rf-v3·vis 일부) ③ 검색이 이른 목격을 놓침(tagmem now-only 66) ④ sonnet 빈 응답 38행(frames 23·vis 13·rf-v2 2; error="no JSON object found", raw 공백 — 이미지 다수 입력에서 게이트웨이/모델이 빈 content 반환, 260902 런의 37행과 같은 계열, 오답 처리).
5양면 진단 · 검증
now_loc / orig_loc(각 면 단독): flash-3.7 vis .569/.523, tagmem .533/.411, frames .469/.448, rf-v3 .344/.247 — 모든 텍스트 전략에서 original 면이 더 약하다. 8B는 두 면 모두 ≤ .29.
- v1.0→v1.1 메모리 변화가 target 행에 준 영향(47편, 같은 질의·전략 1,043행): flash-3.7 rf-v3 −.08, 나머지 ±.02; sonnet tagmem/rf-v3 −.05; luna ±.03 → 옮겨진 방해물이 target 성능을 크게 바꾸지 않음.
- 검산: 6모델 모두 전략당 518행 정확히 일치(재측정 47편 2,415행 + 재채점 53편 1,211행), 중복 0, 무변경 편 재채점 변경 0.
- 비용·시간: flash-3.7 $59.80(두 가족 D1 잡, 3h45m) · sonnet $74.13(4h32m, 선점 1회 후 재개) · luna $5.74(3h09m) · 오픈 3종 $0(2h10m/2h37m/5h24m). KST 9/6 $59.80 · 9/7 $79.87. S② 델타(9/7–8): flash-3.7 $3.59(29m) · luna $0.71(50m) · sonnet $10.73(1h38m, 빈 응답 28행) · 오픈 3종 $0(10–34m). 캠페인 API 합계 $154.70.
6Takeaway · Next
Restore ②는 "본 것만으로 되돌리기"를 요구하는 유일한 셀이고, 행동 로그·텍스트 메모리·8B 모델이 모두 무너지는 자리다. 이미지 메모리(vis-pure)만 ①의 60% 수준을 지켜 "관찰 증거 열에서는 매체가 결정적"이라는 주장을 지탱한다. tagmem의 now-only 66행은 검색 측 개선 여지(이른 목격 항목 회수)이지만, 평가 규율상 튜닝하지 않고 기록만 한다.
- 논문: restore 표는 6전략 × 6모델(flash-3.6 없음) + ①/② 열 분리, ② 오라클 N/A 각주. 원천
final_results/restore_v1.1_609076c0/tables/.
- S②는 도착·측정 완료(sonnet만 KST 9/8) — 표에 S① 옆 열로 넣고, "multi는 전 답 동시 정답" 채점 규칙을 캡션에 명시.
- 보류: flash-3.6 restore v1.1(≈$60), 오픈 3종 샘플링 재측정(반복 루프 아티팩트).
원천: tmp/v11_{flash37,sonnet,luna,qwen3vl8b,cosmosr2,molmo2}_merged.json, 격자 tmp/hf_check/grid_v1final.py v11 restore(tmp/v11/grid_restore_final.md), 병합 merge_v11.py. 로그 claude/260906/progress-v11_remeasure_campaign.md.