Index
2026-09-06 — Plan

온라인 컨트롤 풀 이밸(v1 final) 설계 — 검토·승인 + 실행 전 씬 복원 버그 수정

scene_bench | 사용자 지시: "파일럿도 돌리기 전에 어떻게 실험할건지 풀로 자세하게 써놓고 검사받아"

TL;DR

5,535
전체 플랜 (5전략)
~$725
API 예상 비용
~9일
벽시계 (일 $80)

1 배경 / 목적

읽기 평가(격자)는 find v1.0 7모델, restore v1.1 6모델까지 끝났지만, 온라인(실행) 표는 아직 v0.7(val, n=353, mixv2 시대) 그대로였다. 같은 데이터·같은 전략으로 "메모리가 읽기뿐 아니라 실제 로봇 실행 성공률에도 이득을 주는가"를 답하려면 온라인 하네스를 v1 final 데이터로 재측정해야 한다.

사용자 지시(260906): 파일럿조차 사전 승인 없이 돌리지 말고, 풀 실험 설계 전체(데이터·전략·비용·지표)를 먼저 문서화해 검토받으라 — 이전에 미검토 파일럿(job 111176/111177)이 이미 한 번 취소된 바 있음(비용 <$1, 손실 없음).

세 가지 질문: (Q1) 기억 전략별 실행 SR과 blind 대비 이득 (Q2) 읽기 정답 여부 조건부 실행 SR — 읽기→실행 병목 분리 (Q3) 실행 실패의 단계별 원인(navigate/pick/place) — VLA 병목과 기억 병목 분리.

2 작업 내용

데이터·하네스 고정 사양

가족루트편행
findv1.0 e987b40f100589 (읽기 본표와 동일)
restore (무변경)v1.0 bcaf281553173
restore (재렌더)v1.1 609076c047345 (target 149 + distractor 196)

VLA π0.5 pi05_mlspaces_place@10000(260902 최신 학습분) 확정, 플래너는 gemini-3.7-flash — rollforward 시드가 v1.0·v1.1 양쪽에 존재하는 유일한 flash라서 선택(3.6은 v1.0 시드만 있어 restore 47편의 rf 전략을 못 돌림). 프롬프트 프로필 molmobot, 메모리 모드 unified, 비용 상한 일일 $80(Letsur 캡 $100).

실행 전 발견·수정 4건

0e36c09 find 전용 루트 로더 (e987b40f는 find만 있음) 418045f build_env가 house split을 안 탐 (v1 final 컨텍스트는 train 하우스) 1355576 v1 final states/final.npz 씬 복원 — 핵심 버그, 아래 상술 2abec0b ingest 기본 모델 + --queries-per-context 파일럿 선택기
핵심 버그: states/final.npz가 다른 씬 모델의 전체 덤프. v1 final 데이터의 final.npz는 샘플별 (이름, 자세) 스냅샷이 아니라 데이터 생성기 씬(nbody 356)의 MuJoCo 전체 덤프였다 — 우리 온라인 하네스 씬(같은 하우스지만 nbody 492)과 모델 구조가 달라 통째로 복원할 수 없다.

수정(restore_v1final_state, commit 1355576): 물체 67개 위치는 check_xpos로, 회전은 덤프 qpos에서 위치가 일치하는 free 블록을 매칭(67/67 성공)해서 가져오고, 문·서랍 관절 31개는 traj.h5의 obs/extra/scene_joint_qpos 마지막 프레임, 로봇 베이스는 obs/extra/robot_base_pose 마지막 값을 사용. 스모크 테스트(train_1299__2): 매칭률 1.0, 자세 오차 0, 30스텝 정착 후 최대 드리프트 7mm(2cm 기준 통과) — v1.1·bcaf2815 컨텍스트도 로더 정상 확인.

3 결과 (설계 산출물)

범위플랜APIGPU벽시계(일 $80)
find 589 × 5전략2,945~$325~430 h~4일
restore 518 × 5전략2,590~$400~530 h~5일
합계 (5전략, 승인안)5,535~$725~960 h~9일
절감안 (3전략: blind/textlog/vis-pure)3,321~$435~580 h~6일

파일럿 통과 기준(승인 조건): 크래시 0 · 플랜당 비용 ≤ $0.17 · ingest 누락 0 · find SR이 v0.7 표(0.29–0.44) ±0.15 안. 파일럿 규모 = find 10컨텍스트×5전략×1질의(50) + restore v1.0/v1.1 각 5컨텍스트×3전략×1질의(30), 총 ~80플랜·~$10·~12 GPU-h.

사용자 승인 사항 (260906): VLA는 파일럿 한정 pi05_mlspaces_place@10000(본 런은 현재 학습 중인 open/close 포함 모델로 교체 예정, 완료 시 MODEL_DIR/CKPT_STEP만 교체) · 플래너 gemini-3.7-flash · 전략 5개 그대로 · 파일럿 선택기 --queries-per-context K 추가.

4 Takeaway

의미

이 설계 문서 자체가 논문 §5(온라인 실험) 프로토콜 섹션의 초안이 된다 — 데이터 버전·전략 매핑·비용/시간 산정을 실행 전에 못박아 두면, 파일럿에서 나온 이상 신호(find가 pick 성공률에 상한 지배된다는 사실 등, 별도 파일럿 결과 리포트 참조)를 "설계가 잘못됐다"가 아니라 "벤치의 실제 구성"으로 해석할 근거가 된다.

states/final.npz 버그는 사전에 못 잡았으면 온라인 캠페인 전체가 씬 복원 단계에서 조용히 잘못된 초기 상태로 진행될 뻔한 종류의 실패 — 스모크 테스트로 미리 걸러낸 것이 전체 5,535플랜 예산을 지키는 전제조건이었다.

5 Next Steps

미해결 한계

v1.1 47편 rf 시드는 읽기팀 재측정(flash-3.7) 완료에 의존 — 미완이면 restore 47편은 rf 두 전략(rf-v2/rf-v3) 보류. 재렌더 15편의 vis-pure/rf-v2 시드는 구 렌더 인덱스 기준이라 본 런 분석 시 각주 필요.

다음 작업

파일럿(80플랜) 실행·검증 → 통과 시 find 전량(2,945플랜) → restore 전량(2,590플랜) 순차 실행. 본 런 VLA는 사용자의 open/close 학습 모델 완료 후 서버 검증·파일럿 1샤드 재확인 후 투입.