TL;DR
- 부호 반전: full-data 공개 ckpt에선 Δ(joint−action) = −0.78이었는데, clean-50 모델에선 +8.75 (8 task × clean/random × 25 ep). 이득은 거의 전부 clean2random(+15.5)에서 — 분포 이동 구간.
- 논문 Fig 11b(열화 입력에서 생성 이득)와 같은 방향이며 논문이 보고하지 않은 demo-scarce regime별 수치. 합의 계획 P-C의 "margin이 열리는가" 게이트 → 열림.
- task별 Δ가 0(click_bell, lift_pot)~+24(stack_bowls_two)로 이질적 → "언제 생성할까"(adaptive selection)의 무대 확보. 단 cell당 25 ep, 노이즈 바닥 미측정.
205 / 308
ms/call action / joint
1 배경 / 목적
full-data(550 demo/task) 공개 ckpt에서는 action-only ≥ full-joint(Δ=−0.78, 50 task)였고 논문 Table 1도 동률. 논문이 비워둔 질문 — 데이터가 적고 분포가 흔들릴 때 월드모델 생성이 SR을 사는가 — 를 리더보드 프로토콜(clean 50 demo/task)로 학습한 모델에서 직접 측정.
공정성 단서: 로봇 사전학습 베이스는 미공개라 Wan2.2 init에서 학습 — 논문 Fig 10(AgiBot 사전학습 포함)과 절대치 비교 불가. 다만 같은 ckpt의 두 regime 비교는 init과 무관하게 공정.
2 설정
학습 : scripts/train_flexpi_clean50_worker.sh — task_episode_map_clean50.json(ep start+500..549), 10 epoch = 10,960 steps, eff.batch 512, 8×B200 25 h (job 105354)
ckpt : step_010960 (9k/10k/10.96k 3개 동률 → cosine 종점 선택)
평가 : 8 task × {demo_clean, demo_randomized} × 25 ep, unseen, 4 steps, replan 32, optix, isaac-lab 컨테이너
regime: joint = present+denoise(video,dino,pointmap) / action = infer_joint_*=false
검증 : 모든 셀의 eval_config_<task>.yaml에서 ckpt·regime 확인, 에셋 오류(modelid out of range) 0
3 결과
| task | joint (clean/random) | action (clean/random) | Δ(j−a) |
|---|
| stack_bowls_two | 100 / 96 | 88 / 60 | +24.0 |
| scan_object | 96 / 44 | 88 / 16 | +18.0 |
| adjust_bottle | 96 / 44 | 100 / 8 | +16.0 |
| open_microwave | 72 / 12 | 68 / 0 | +8.0 |
| place_shoe | 100 / 48 | 100 / 36 | +6.0 |
| click_bell | 100 / 68 | 100 / 68 | 0.0 |
| lift_pot | 100 / 4 | 100 / 4 | 0.0 |
| put_object_cabinet | 84 / 20 | 88 / 20 | −2.0 |
| 평균 | 93.5 / 42.0 → 67.8 | 91.5 / 26.5 → 59.0 | +8.75 |
핵심: clean Δ +2.0 vs random Δ +15.5 (200 ep 합산 84 vs 53 성공, 2-proportion z≈3.3, p≈0.001 — 비짝 근사). 이득은 학습 분포 밖에서 난다.
한계: cell당 25 ep(SE ≈ 10 pt)라 task별 값은 거침. 이 ckpt의 run-to-run 노이즈 바닥(f_same, 계획 E0′.e)은 미측정. step limit은 Flex-π 절반값(리더보드 upstream 값 아님).
| arena | 학습 데이터 | joint | action | Δ(j−a) |
|---|
| full-data (공개 ckpt, 50 task × 100 ep) | 550/task (randomized 500 포함) | 94.15 | 94.93 | −0.78 |
| demo-scarce (clean-50, 8 task × 25 ep) | clean 50/task | 67.8 | 59.0 | +8.75 |
4 Takeaway
의미
같은 아키텍처·같은 하네스에서 arena에 따라 regime margin의 부호가 뒤집힌다: 포화된 학습 분포에선 월드모델 생성이 latency만 사고(1.5×), 데이터 부족+분포 이동에선 큰 SR을 산다. 이것이 합의 계획이 찾던 "선택이 가치 있는 무대"이며, task별 Δ의 이질성(0 ~ +24)은 내재 신호로 "언제 생성할지"를 고르는 연구(E1′/E2′)의 전제를 채운다.
5 Next
검정력 보강 — 같은 8 task random phase를 100 ep로(양 regime), 또는 50 task × 2 regime × 100 ep(own 8 GPU 각 ~10 h)로 확정치.
노이즈 바닥 — 이 ckpt에서 계획 E0′.e(같은 regime 재실행, f_same) → excess discordance로 선택 헤드룸 확정.
신호 연구 E1′ — x0-drift / layer-7 peek / replan consistency로 "생성이 필요한 에피소드"(b 집합) 예측 AUROC. 무대가 열렸으므로 이제 의미 있음.
리더보드 제출용 — STEP_LIMIT_FILE=upstream으로 별도 sweep(다른 세션이 knob 추가).