Index
2026-09-25 · scene_bench · 실험 3 Oracle-plan

routine 최종 결과 — GT 계획 + 시드 없음, 5 arm 같은 칸, 통 재실행 185칸 대체

완주 보관소 final_results/oracle_plan_v1_260923 · routine 615행(123질의 × 5 arm) · rc 185칸 대체(컨테이너 파킹 결함 5fbbbf5 수정판 src_main12) · McNemar 짝비교 · 실패 사례 · resume·tmrep 진행

TL;DR

615 / 615
routine 행(완주, 대체 185)
.12 – .18
SR 5 arm (p ≥ .50)
.179
tagmem SR (수치상 1위)
78 / 123
5 arm 전부 실패 질의
0 → 13
통 목적지 90칸 성공(재실행)
$91
API 비용(rc $24.6 포함)

1배경 / 목적

routine 본 런 615/615 는 260924 17:4xZ 완주했으나 주입 컨테이너 파킹 결함(static 통이 복원되지 않아 집 밖 공중, 5fbbbf5) 로 통 목적지 90칸이 구조적 0 이었다. 사용자 승인(≈$10)으로 컨테이너 편의 비-통 95칸까지 185칸을 수정판 src_main12 로 재실행(rc) 해 원 행을 대체했다(rerun_routine_scene_cells.json). 원격(5e)이 rc0~48 조각으로 병렬 실행, 00:15Z 185/185 → 로컬 반영(원 dir 185 hardlink 백업 → rc 판 dir 교체 → rc 행) → 엄격 검사 통과 → 보관소 재생성(00:16Z).

실험 2 와 나란히 두지 말 것 — 셀·조건·계획 출처가 다르다. 논문에는 별도 표. 슬림/비슬림 구분 표시 없음(routine 은 원 행·재실행 전량 슬림).

2routine — 123질의 × 5 arm (rc 185칸 대체)

armSRM1 재-pickM2 false_doneM3 낭비턴M4 GCD1 (n칸)턴pick/칸운반 낙하 칸놓다 낙하 칸$/칸분/칸
blind.154.034.187.273.165.986 (112)19.012.164.10710.7
frames-uniform.122.037.203.168.143.981 (105)19.512.942.22111.8
rollforward-v3.163.022.163.154.167.988 (105)21.715.562.12413.5
rollforward-vis-pure.154.016.179.229.176.994 (108)18.512.027.13310.9
tagmem-r3.179.040.122.164.184.991 (106)21.515.024.15613.1

blind 대비 짝비교(같은 123칸)

armSR b01/b10 pfalse_done b01/b10 pGC 우세/열세 p (부호검정)
frames-uniform8/12 p=.50316/14 p=.85615/14 p=1.000
rollforward-v314/13 p=1.00015/18 p=.72815/16 p=1.000
rollforward-vis-pure11/11 p=1.00014/15 p=1.00018/14 p=.597
tagmem-r313/10 p=.6788/16 p=.15213/12 p=1.000

층화(사전 선언): 1답 80칸 SR blind .237 · frames .188 · rf-v3 .250 · vis .237 · tagmem .275; multi 43칸(2답 1 · 3답 10 · 4답 32) 전 arm SR 0, GC ≤ .05(frames 3답 .133 예외). "1단계 성공" 층은 4칸뿐(GC .15~.25).

routine 도 arm 이 구별되지 않는다. 1답 칸에서 tagmem .275 vs blind .237 은 3칸 차(13/10, p=.68). 효율 지표는 방향이 엇갈린다(tagmem 낭비턴 .164 vs blind .273 · false_done .122 vs .187, 대신 턴·pick 이 많다 21.5/15.0 vs 19.0/12.1).

3재실행(rc) 효과 — 짝 185칸

구분칸성공 원 → 재GC 원 → 재arm 별 성공 원 → 재
통 목적지(파킹 결함 = 구조적 0)900 → 130 → .163blind 0→2 · frames 0→2 · rf-v3 0→2 · vis 0→3 · tagmem 0→4
비-통(컨테이너 편의 다른 칸)9525 → 22.263 → .232blind 3→5 · frames 4→2 · rf-v3 7→7 · vis 4→4 · tagmem 7→4
합18525 → 35.135 → .198placed 25 → 40 · 낙하 11칸 · $24.60 · 11.4분/칸

통 목적지 18질의의 최종 SR 은 blind 2/18 · frames 2/18 · rf-v3 2/18 · vis 3/18 · tagmem 4/18 — 통에 넣기는 수정 후에도 .11~.22. 비-통 95칸의 25 → 22(tagmem 7 → 4)는 같은 칸 재현 잡음(§5) 범위라 의미를 두지 않는다. 검사: rc 판 dir 185(옛 dir 0), 컨테이너 navigate 136회 전부 stage 컨테이너 2 m 안(파킹 재발 없음).

4실패 사례 — 5 arm 전부 실패(direct)

v1_train_1205__8010 "Put the alarm clock on the countertop away." blind budget 26턴 pick 19 · frames abort 18턴 pick 14 · rf-v3 budget 34턴 pick 32 · vis budget 36턴 pick 33 · tagmem budget 40턴 pick 35 — lifted 전부 0 · 최근접 0.44~0.59 m: 정답 자리 앞에서 같은 pick 반복 v1_train_1437__8070 "Put the spray bottle on the countertop away." blind budget 38턴 pick 33 · frames abort 42턴 pick 40 · rf-v3 abort 9턴 pick 6 · vis abort 5턴 pick 2 · tagmem abort 4턴 pick 1 — lifted 0 v1_train_1437__8071 "Put the hand towel on the countertop away." 5 arm 전부 abort 3~6턴 pick 1~2 · lifted 0 · 최근접 0.25~0.64 m

direct 전부-실패 35질의 중 29 는 어느 arm 도 들지 못했다. 알람시계·스프레이·수건처럼 VLA 가 못 잡는 물체는 메모리가 구제하지 못한다 — find(77/150)·restore(102/148)와 같은 천장. 나머지 6 은 들었으나 놓기·통 넣기에서 실패.

5같은 칸 재현 잡음 — tagmem 재현 런(tmrep, 진행 중)

사용자 지시("tagmem 만 재실행, 분산 확인, 본표는 내가 알아서")로 tagmem-r3 만 find 150 · restore 148칸을 카메라 수정판(src_main14 = src_main6 + strict_policy_camera)으로 다시 돌리는 중. find 45칸 중간: SR 원 20/45 = .444 → 재 22/45 = .489(부호검정 p=.75) · 같은 결과 35/45 = 78%(0→1 6 · 1→0 4) · pick 6.5 → 6.9 · false_done 9 → 11 · 비용·시간 동일.

칸당 재현 잡음 ≈22% 는 123~150칸 표에서 SR ±.03 정도의 arm 간 차이를 낼 수 있다 — 본표(find 5 arm .33~.39, routine .12~.18)의 순위는 이 잡음 안이다. 두 번째 추첨 + 카메라 규칙이 다르므로 arm 비교에는 쓰지 않는다(본표 불변).

운영: default 키 일일 한도($100 하드캡, 규칙 ≤$80) 여유 확보를 위해 tmrep restore 2잡은 scancel 후 15:05Z(키 리셋) 예약 재제출(155831·155832, done-glob 승계). find 2잡은 ≈05~06Z 완주.

6출처 · 함정

7Takeaway · Next

해석

세 가족(find·restore·routine)에서 GT 계획 조건의 온라인 쓰기 이득은 restore rf-v3 +.09 SR 하나뿐이고 find·routine 은 동률. multi 0 은 실행 성공률의 거듭제곱이며, 전부-실패 질의의 대부분은 파지 자체가 안 된다. 논문 routine 줄: "5 arm 동률(p≥.50), tagmem 수치상 최고 .179 · false_done 최저, multi 전 arm 0".