Index
2026-09-25 · scene_bench · 논문 Table 3 (실험 3 GT 실행)

Table 3 지표 감사 — no-memory 의 "완료를 잊고 다시 집음"을 세도록 정의를 고치다

SR·GC·Rep.·FD·Waste·Ovr. 전수 감사(find 150 · restore 148 · routine 123, episode.json 턴 상태) → 사용자 결정(Rep. 합집합 · Ovr. 끝 상태 유지 칸 · FD 현행 · 칸 수 삭제 · Resume 포함 · restore 만 tmrep) → 논문 저장소 단일 생성기 refresh_gt_table3.py

TL;DR

0.7 → 3.3
restore No Memory Rep. (더는 최저 아님)
7.3 → 12.1
find No Memory Rep. (최고)
5.54 → 1.41
routine No Memory Ovr. (되돌림이 Rep. 로 이동)
3 + 3
지표 정의 결함 + 행 타임라인 결함

1Table 3 — 논문 현행 → 수정 (Rep. % · Ovr. 턴)

armFinding Rep.Finding Ovr.Restore Rep.Restore Ovr.Resume Rep. / Ovr.Routine Rep.Routine Ovr.
No Memory7.3 → 12.13.91 → 3.850.7 → 3.34.17 → 3.4738.9 / 5.673.5 → 5.45.54 → 1.41
Uniform6.8 → 10.43.12 → 3.121.1 → 1.5 ★1.00 → 1.24 ★19.9 / 3.764.2 → 4.41.33 → 1.36
MEM8.9 → 11.84.17 → 4.233.5 → 5.02.39 → 2.348.7 / 1.622.2 → 2.9 ★1.00 → 1.05 ★
MemER5.9 → 9.33.14 → 3.143.8 → 6.03.54 → 2.1231.1 / 4.553.4 → 3.92.11 → 2.11
TagMem5.3 → 9.0 ★2.39 → 2.39 ★1.8 → 2.72.03 → 1.318.5 / 2.254.2 → 4.61.36 → 1.14

★ 열 최저. 코호트: find/routine/resume 원 TagMem 행, restore 본표(tmrep). SR·Single·Multi·FD 불변. Ovr. 분모(유지 칸) find 54/58/52/49/54 · restore 15/21/29/24/26 · routine 17/14/20/18/21 은 tables/online_gt_table3.json 에.

2감사에서 나온 결함

#결함증거처리(사용자 결정)
①Rep. 가 완료 물체의 재-pick(안 든 상태)을 안 셈restore No Memory 배치 직후 같은 물체 pick 7칸("not grasped yet, retry"), find 놓친 뒤 재-pick 116턴합집합 정의 채택
②FD 가 누적 goal_met 기준 → 되돌린 뒤 done 을 못 셈restore No Memory 5 · TagMem 8, routine No Memory 6두지 않음(현행 유지)
③"도달" 집합에 되돌림·굴러 떨어짐 혼재restore 도달 뒤 끝 상태 깨짐 No Memory 9/23(되돌림 4·판정 간극 5), TagMem 8/27(1·7)Ovr. = 끝 상태 유지 칸, 되돌림은 Rep.
④행 타임라인: 공허 배치 미인정 · 수용체 미검사 · multi 누적 착시MEM routine 2391__7284 엉뚱한 가구 배치가 완료로; No Memory 2853__0 3답 누적상태 추적으로 재계산
⑤routine 목적지 = surface_uid 하나any_instance_ok 대체 인스턴스 배치가 완료로 안 셈전 인스턴스 집합
⑥두 표가 다른 아카이브 상태(combined restore TagMem 17.6 vs diagnostics 14.2, routine 코호트 상이)생성 체인 4개가 각각 패치단일 생성기
본문 analysis.tex: "Routine … \srf{} and \stag{} have substantially lower mean overrun than \sblind{}" 는 새 값(1.41 vs 1.05/1.14)으로 성립하지 않는다 — 되돌림(Rep. 5.4 vs 2.9/4.6)으로 고쳐 써야 한다. 부록 정의 블록은 그 사이 Overleaf 에서 삭제돼 정의는 캡션·json·스크립트 docstring 에만 있다(bullet 초안은 로그에 보관).

3반영 상태 · 출처

논문 워크트리 scene_bench/tmp/paper_wt (브랜치 table3-rep-fix, origin/main 515a84f 위, 커밋 8ffcc5e) + scripts/refresh_gt_table3.py · tables/online_gt_combined.tex · tables/online_gt_diagnostics.tex · tables/online_gt_table3.json ~ superseded 표시: refresh_gt_online_diagnostics · layout_execution_tables · refresh_gt_find_restore · refresh_gt_resume_progress · redundant_actions push: 첫 시도 "no git access" 거부 → 재시도 성공, Overleaf main 6a2f14e (재생성: SCENE_BENCH_ROOT=… python3 scripts/refresh_gt_table3.py 후 push) 감사 스크립트: tmp/oracle_plan/table3_metric_audit{,2}.py · table3_corrected.py · 로그 claude/260925/analysis-oracle_table3_metric_audit.md