TL;DR
- 읽기 답(=초기 계획)이 틀린 칸에서 온라인 SR .206 — 읽기 정답 칸 .580의 약 1/3.
- 방까지 틀린 오답은 .105, 방은 맞고 가구만 틀린 오답은 .347. 성공 대부분이 "틀렸지만 가까운" 답이다.
- 성공 37칸 중 다른 곳을 탐색해 찾은 진짜 회복은 10칸(5.6%). 20칸은 틀린 답의 첫 이동이 GT 반경 1 m 안, 7칸은 시작 자리가 GT 앞.
- 회복 10칸 중 2칸은 계획을 고칠 수단이 없는 textlog·blind — 회복은 메모리 갱신보다 VLM의 일반 탐색에서도 나온다.
1배경/목적
온라인 계획형 프로토콜은 읽기 답이 맞은 칸만 돌린다. 그래서 "온라인 단계가 틀린 기억을 고칠 수 있나"는 비어 있었다.
전량(5,642칸, ≈$1,070·2주) 대신 전략당 30칸 샘플로 이것을 확인했다.
2설정
셀: find v1.2 읽기(gemini-3.7-flash) 중 steps=single · place_set=0 · place_set_raw=0 · 기권 제외 → 전략별 시드 0 무작위 30칸 (180칸, 85편)
하네스: find v1.2 본 런과 동일 — tmp/plan_main/src_w2 · MolmoBot place_oc@10000 · obs 4 · image-cap 8 · max-episodes 3
실행: 로컬 163칸 + 원격 yj 17칸 (회수분 검증: 180행 · 중복 0 · 로컬 163행 바이트 동일)
행: tmp/exec_online/readwrong_find_s*.jsonl
성공 분해 기준 — 시작: 주행 0회로 성공(시작 자리가 GT 앞) · 근접: 틀린 계획의 첫 navigate가 GT 반경 안(first_nav_hit) · 탐색: 첫 navigate가 빗나간 뒤 다른 곳을 찾아 성공.
3결과
| 전략 | 오답 칸 SR (95% CI) | 참고: 정답 칸 SR | 방 맞은 오답 | 방 틀린 오답 | 성공 시작/근접/탐색 |
|---|
rollforward-v3 | .333 [.19,.51] | .573 | .727 (11) | .105 (19) | 3 / 5 / 2 |
tagmem-r3 | .300 [.17,.48] | .585 | .333 (18) | .250 (12) | 2 / 3 / 4 |
rollforward-vis-pure | .233 [.12,.41] | .569 | .333 (12) | .167 (18) | 0 / 7 / 0 |
textlog | .167 [.07,.34] | .565 | .400 (10) | .050 (20) | 0 / 4 / 1 |
blind | .100 [.03,.26] | .549 | .143 (14) | .062 (16) | 2 / 0 / 1 |
frames-uniform | .100 [.03,.26] | .622 | .200 (10) | .050 (20) | 0 / 1 / 2 |
| 전체 | .206 [.15,.27] | .580 (1,342) | .347 (75) | .105 (105) | 7 / 20 / 10 |
전략 순위로 읽지 말 것. n=30이라 CI가 전부 겹친다. rf-v3·tagmem이 높은 것도 상당 부분 "방은 맞은 오답" 비율 차이다(tagmem 18/30 vs frames 10/30).
실패 143칸: GT에 한 번도 닿지 못함 115(80%). 종료 사유 — 같은 곳 주행 반복(nav_loop) 64 · 엉뚱한 곳에서 done 45 · 예산 소진 25 · abort 9.
4사례
회복 (탐색) — tagmem-r3 · v1_train_8239__1 · "Pick up the egg I moved earlier"
계획(읽기 오답): pick up the egg — on the dresser in the bedroom
GT: living room side table → navigate 2회, 4턴, done, 성공 (방까지 틀린 오답에서 회복)
회복 (탐색) — rollforward-v3 · v1_train_5258__1 · "Pick up the pen"
계획: pick up the pen — on the dresser in the living room
GT: kitchen countertop → navigate 2회, 4턴, 성공
실패 — 엉뚱한 곳에서 완료 선언 · rf-v3 / tagmem-r3 · v1_train_2788__2 · "Navigate to the butter knife"
계획: go to the butter knife — on the desk in the bedroom
GT: kitchen countertop → navigate 1회 후 done, 2턴 (두 전략 동일)
원인: navigate만 하면 되는 질의라 도착 즉시 끝났다고 판단한다. 도착한 곳에서 대상이 보이는지 확인하지 않는다.
교훈: navigate 전용 질의에서 틀린 계획은 곧바로 거짓 완료로 이어진다. 회복 기회가 구조적으로 없다.
실패 — 이름 오류 + 주행 반복 · textlog · v1_train_1847__1 · "Pick up the kettle"
계획: pick up the boiler — on the dining table in the living room
GT: kitchen dining table → navigate 6연속, nav_loop 가드로 종료
원인: 물체 이름("boiler")과 방이 모두 틀렸다. textlog는 계획을 고칠 수단이 없어 같은 목표를 반복한다.
교훈: 갱신 수단 없는 전략에서 오답 계획은 루프 가드에 걸려 끝난다.
5Takeaway
온라인 성공은 읽기 정답에 강하게 묶여 있다. 틀린 기억을 온라인 단계가 고쳐 주는 효과는 5.6%로 작다.
그중 일부는 메모리가 없는 전략에서도 나온다. 즉 벤치마크의 온라인 SR 격차는 대부분 읽기 단계의 기억 품질에서 온다.
논문 문장 후보: "When the read-track answer is wrong, online success drops from .58 to .21 (.11 when the room is also wrong); only 5.6% of cells recover by exploring elsewhere."
6Next
- 전략 비교가 필요하면 방 정답 여부로 층화한 확대 샘플(승인 필요).
- restore 오답 칸은 운반 버그 재실행(원격 진행 중) 반영 뒤 판단.
- "엉뚱한 곳 done" 45칸 — 같은 이름의 다른 물체를 든 경우인지 행 단위 확인.
7업데이트 — restore 읽기 오답 180칸
| 틀린 부분 | 성공/칸 |
|---|
| 현재 위치만 맞음 | 2/72 |
| 원래 위치만 맞음 | 1/37 |
| 둘 다 틀림 | 0/71 |
메모리 재참조로 회복 — tagmem-r3 · "Pick up the cell phone and place it where it first was"
계획(오답): 원래 자리 = 침실 책상
t6: "According to memory, the cell phone originally came from the dining table in the bedroom" → 식탁으로 이동·배치, 성공 (pick 재시도 많아 33턴)
나머지 성공 2칸은 현장 시각 교정(paper towel: 식탁 → 옆 의자)과, 같은 카테고리 수용체에 놓아 통과한 사례(key chain)라 회복으로 보기 어렵다.
restore 는 현재·원래 위치가 모두 필요해 find(탐색 회복 5.6%)보다 회복이 훨씬 어렵다. 논문 부록에는 "about 2%"로 기재했다.