Index
2026-09-24 — Experiment

실험 3 Oracle-plan — resume 확장 준비·본 런 기동(805칸)

scene_bench | GT 계획 조건 오라클 표 4가족 완성 작업

TL;DR

805
본 런 칸 수
$115~210
견적
18/18
복원 재검사 통과

1 배경 / 목적

find·restore·routine과 같이 resume도 GT 계획(시드 없음) 조건으로 오라클 표를 완성하기 위한 준비. resume은 질의에 answers[]가 없고 pending[](미완 과제 개수 사양)뿐이라, 다른 가족의 GT 계획 경로(gt_selections* → selections)를 그대로 쓸 수 없었다.

기존 한계: resume 가족만 GT 계획 빌더가 없어 4가족 오라클 표가 완성되지 않은 상태였다.

2 작업 내용

GT 계획 빌더 sbench_exec/resume_gt.gt_unfinished(specs, room_map) 순수 함수: 읽기 답 모양(unfinished=[{task, remaining}])을 발화 그대로 + "— in the <방>" + "remaining unit i of r" 형식으로 펼친다. 사용자 결정(방 이름까지 다 준다, GT 계획은 시드 없음)에 맞춘 설계다.

셀 143질의(61871a3e 89 + fd856246 54, = 실험 2 resume_ok 합집합)로 시작해 715칸 설계, 스냅샷 src_main8, 테스트 7개 + tests/exec 전체 404 통과.

스모크 반복에서 발견·수정한 결함 3건

① 컨테이너 목적지 이름 결손 — blind가 "'basket' does not exist" 로 abort → gt_unfinished(scene_name_of=)로 목적지 uid를 물체 목록 이름에 매핑 (src_main9) ② visit_rooms 방 채점 버그 — 점유맵 팽창 영역 픽셀은 방 채널이 0이라 방문이 누락 → room_id_near(팽창 반경 창 안 최빈 라벨 폴백) (src_main10) ⚠ 실험 2 resume 본 런(src_s4)에도 같은 결함 존재, 별도 사후 재채점 필요 ③ 출발 가구 미특정 — "from the dining table" 만 쓰면 집에 식탁이 2개 있을 때 VLM이 엉뚱한 식탁으로 감 (place 과제 111건 중 79건, 71%가 영향) → "from <출발> in the <방> to/into <목적지> in the <방>" 전체 명시 (src_main13, 커밋 cdd6cb3)

복원 재검사(G6, recheck_resume_cuts.py): 탈락 컷 14 + 빌드 실패 2편(4질의) = 18질의 전부 pass_relaxed 통과(최대 안착 드리프트 0.068m → 0.0~0.03m, 통을 세우니 해결). make_resume_cells_gt.py --relaxed로 우주가 143→161질의(단일 100·multi 61), 715→805칸으로 확장됐다.

3 결과

스모크스냅샷결과
sm1(train_123, 옮기기+방문2방)src_main11(수정 전)5 arm 전부 거실 식탁으로 가 abort/루프 — 출발 가구 결함 재현
sm1(같은 칸)src_main13(수정 후)5/5 — 5 arm 전부 정확히 부엌 식탁으로. GC blind .50·frames-uniform .75·rf-v3 .50·vis-pure .50·tagmem .50
sm0(누름+담기, 최종)src_main115/5, tagmem GC .60(최고 — 노트로 누름 횟수를 추적한 유일한 arm)

10행 최종: 비용 평균 $0.250/칸(중앙 .253·최대 .645) · 18.4분/칸(중앙 11.9·최대 44.5). 이를 단위당 환산하면 본 런 805칸 ≈ $115 · 140 GPU-h, 칸당 평균 그대로면 ≈$202 · 247 GPU-h(상한).

사용자 결정(260924 16:0x): "전량 805칸 승인(≈$115~200)" — 8샤드(61871a3e 5개·fd856246 3개, src_main13)로 본 런 기동.

4 Takeaway

의미

4가족(find·restore·routine·resume) 오라클 표가 같은 조건(GT 계획 + 시드 없음)으로 닫힌다. resume은 GT가 "발화+방+잔여횟수"라는 형태를 취해, 실험 2에서 미결정이던 "어느 방이 남았는가"(visit_rooms)도 측정 가능해진다. 스모크 반복에서 드러난 두 결함(방 채점·목적지 모호성)은 실험 2(온라인 VLM eval) resume에도 동일하게 존재해, 사후 재채점 필요성을 재확인시켰다.

5 Next Steps

본 런 완주 대기

805칸 완주 후 check_resume_returns.py로 회수 검사 → archive_oracle_plan.py에 resume 추가 → 4가족 통합 표 완성.

컨테이너 파킹 버그와의 교차

resume 오라클 셀 중 통 과제 질의(≈60개, 300칸)는 별도로 발견된 주입 컨테이너 파킹 버그의 영향권 — 수정판(src_main11 이후) 반영 여부를 재확인해야 한다.