TL;DR
0.7 / 1.1 / 3.5 / 3.8 / 2.2
논문 Rep.(%) blind/frames/rf-v3/vis/tagmem — 재현 일치
59~62
기회 칸(반복할 거리 있음) — arm 무관
13칸 · 9턴
blind: 놓은 물체 재-pick 칸 · 복원을 되돌린 턴
0.7 → 2.5
blind Rep., "완료 물체 재조작" 정의
- 계산은 맞다: 논문 함수 복사 + 보관소 입력 → 소수점까지 동일. held 상태를 전 칸 episode.json 으로 통일해도 같다.
- 정의가 비대칭: repeat_pick 은 "이미 든 상태에서 같은 물체 pick", repeat_place 는 "성공 배치 뒤 같은 배치를 공허하게 반복" — 롤포워드 노트의 낡은 "holding X" 고착(rf-v3 16칸 · vis 14칸 즉시 재배치)은 잡지만, no-memory 가 놓은 물체를 잊고 다시 집는 것(배치 직후 7칸, 누적 13칸, 그중 9턴은 실제로 들어 올려 복원을 되돌림)은 안 센다.
- 대안 정의(GT 목적지에 놓인 물체에 다시 pick/place 를 낸 턴): frames 1.1 < tagmem 2.2 < blind 2.5 < rf-v3 3.8 < vis 4.6 — blind 의 굵은 글씨가 사라진다. 채택 여부는 사용자(논문 쪽 스크립트).
1재현 · 분해 (논문 정의)
| arm | 논문 Rep. % | 재-pick 턴 | 재-배치 턴 | 반복 칸 | 기회 칸 | 기회 칸 조건부 % | 총 턴 |
|---|
| blind | 0.7 | 2 | 13 | 5 | 61 | 1.7 | 4172 |
| frames-uniform | 1.1 | 7 | 16 | 7 | 59 | 2.7 | 3310 |
| rollforward-v3 | 3.5 | 25 | 47 | 17 | 62 | 8.3 | 4273 |
| rollforward-vis-pure | 3.8 | 53 | 61 | 15 | 62 | 9.2 | 3526 |
| tagmem-r3 | 2.2 | 11 | 31 | 10 | 59 | 5.4 | 3920 |
기회 칸이 같으니 blind 가 낮은 건 "할 게 없어서"가 아니다. 메모리 arm 의 반복은 낡은 상태의 고착이다 — rf-v3 1362__2 턴6 "holding the vase. I will execute pick_and_place …", vis 1362__0 턴14 "holding the mug … place it … to finish"(둘 다 이미 놓은 뒤).
2첫 GT 배치 성공 직후 blind 는 무엇을 하나
| arm | GT 배치 성공 칸 | 다음 턴 done | navigate | 같은 물체 place(논문이 세는 반복) | 같은 물체 pick(논문이 안 세는 반복) | 이후 언젠가 같은 물체 재조작 |
|---|
| blind | 36 | 16 | 11 | 2 | 7 | 13 |
| frames-uniform | 39 | 25 | 8 | 5 | 0 | 6 |
| rollforward-v3 | 46 | 17 | 12 | 16 | 0 | 18 |
| rollforward-vis-pure | 42 | 19 | 7 | 14 | 1 | 16 |
| tagmem-r3 | 42 | 20 | 12 | 8 | 1 | 9 |
blind 2159__2 턴5(배치 성공 직후) reasoning: "The key chain is still on the dresser and not grasped in the gripper yet, so retry picking it." — 놓았다는 기억이 없어 목적지에 놓인 물체를 "아직 안 집은 것"으로 본다. repeat_pick 은 held == obj 조건이라 이 턴은 0 으로 센다.
3대안 정의 — 완료 물체 재조작
| arm | 논문 Rep. % | 완료 물체 재조작 % | pick / place | 발생 칸 | 재-pick 성공으로 복원을 되돌린 턴 |
|---|
| blind | 0.7 | 2.5 | 59 / 17 | 13 | 9 |
| frames-uniform | 1.1 | 1.1 | 1 / 17 | 6 | 0 |
| rollforward-v3 | 3.5 | 3.8 | 55 / 52 | 19 | 1 |
| rollforward-vis-pure | 3.8 | 4.6 | 20 / 103 | 16 | 0 |
| tagmem-r3 | 2.2 | 2.2 | 10 / 34 | 10 | 0 |
해석
Overleaf 의 0.7 은 측정 오류가 아니라 정의의 사각이다. "확정 완료 뒤 반복"을 든 채 재-pick 과 공허한 재-배치로만 세면 no-memory 의 고유 병리 — 완료를 잊고 다시 집어 되돌리는 것 — 가 빠진다. 이는 resume 절의 "메모리 이득 = 완료 인지" 와 같은 현상이 restore 에서도 있다는 뜻이라, 각주로 남기든 정의를 바꾸든 본문 주장에 유리하다. 정의를 바꾸면 find·routine 도 같은 정의로 다시 뽑아야 하고, tmrep 교체 뒤 tagmem 행도 재계산이 필요하다(Overleaf 표는 교체 전 tagmem SR 14.2 기준).
4출처
논문 origin/main 260925: tables/online_gt_diagnostics.tex · online_gt_combined.tex · sections/appendix_evaluation.tex(정의) · scripts/refresh_gt_online_diagnostics.py · redundant_actions.py
입력: final_results/oracle_plan_v1_260923 (turns/turns_oracle_restore.jsonl · rows/oracle_restore_{s*,rr*}.jsonl) + tmp/exec_online_oracle_restore/<pid>/episode.json · final_results/restore_v1.1_609076c0/dataset/restore_queries.jsonl(목적지)
재현 스크립트: tmp/oracle_plan/paper_rep_restore_recount.py · 로그 claude/260925/analysis-oracle_paper_rep_metric_restore.md