Eval All — IDM 7-track + Pi0.5 종합 평가

1배경/목적

학습 완료된 IDM 변종(Latent-A v1/v2/v3/multistream + Pixel MG-30/MG-3000) + Pi0.5 VLA(Real B0 / Synth B1)를 동일 protocol로 일괄 평가. 보고용으로 정확하게 비교 가능한 표 + 시각 자료 확보가 목적.

이전 결과들은 다른 ep 수, 다른 protocol로 산발적으로 측정되어 있어 공정한 head-to-head가 어려웠음. 이번엔 24-task × {3 ep (IDM) / 8 ep (Pi0.5)} fixed protocol + fresh-env-per-replay + EnvUtils-based init으로 재측정.

2작업 내용

IDM 4 latent track (이미 학습 완료, 24-ep 재실행으로 재현성 확인)

• Latent-A v1 single L27: outputs/idm_robocasa_latent_A_sliced_60k_8gpu/checkpoint-60000, 315M params
• Latent-A v2 (action+state): _v2_60k_8gpu/checkpoint-60000, 16-dim HF state도 동시 출력
• Latent-A v3 multi-layer concat: _multi_60k_8gpu/checkpoint-60000, dim concat (5120×3=15360)
• Latent-A multistream: _multistream_60k_8gpu/checkpoint-60000, 401M params, per-layer Linear+SelfAttn(2L)+token concat

Pixel-IDM 2 track (24-ep 신규 평가)

• Pixel MG-30 v2_8gpu: outputs/idm_robocasa_mg30_v2_8gpu/checkpoint-60000 — clean baseline (data: 720 ep)
• Pixel MG-3000 v2_8gpu: outputs/idm_robocasa_mg3000_v2_8gpu/checkpoint-60000 — large-data baseline (70.5K ep) ⚠ heldout ⊂ training (leakage)
• 신규 스크립트: scripts/run_eval_pixel_mg{30,3000}_24ep.sh

Pi0.5 VLA 2 track (24-task × 8 ep)

• B0 Real: outputs/pi05_b0_real_full_4gpu/checkpoints/017500, real proprio state로 학습/평가
• B1 Synth: outputs/pi05_p2_full_8gpu/checkpoints/016000, dreamgen P2 1440 ep, all-zero state
• PoC eval (EnvUtils + reset_to + relaxed close-threshold 0.15) 기반 24-task wrapper 신규: scripts/run_pi05_eval_24tasks.sh

Latent-C n12 layer-routed (260508 추가) 🆕

• ckpt: outputs/idm_robocasa_latent_C_n12_pooled_60k_8gpu/checkpoint-60000 (학습 완료)
• 아키텍처: π0.5 KI 영감 — ActionDiT 12 block ↔ Cosmos DiT 12 layer (idx [2,5,8,...,35]) 1:1 routing
• cache 신규 빌드: heldout pooled 4×4 multi12 cache (~85 GB, 1899 windows / 716 ep) — inline pool 추가로 6.6 TB raw 중간 산출물 skip. 4 GPU × 14 min wall.
• 신규 스크립트: scripts/run_cache_hidden_pooled_heldout.sh, dump_idm_actions_latent_C.py, run_eval_latent_C_24ep.sh
• cache_cosmos_hidden_mg30_multi.py에 --pool_h --pool_w 인자 추가 (inline pool)

Per-task 통합 영상

각 task 1 ep을 GT + 7 IDM 트랙 prediction을 4×2 grid로 합성. ffmpeg filter_complex + drawtext로 라벨링. 이전 6트랙 → 7트랙으로 갱신, padding cell 없이 perfect fit.

Submission

Cluster: 8개 sbm 1-GPU 동시 제출 (4 IDM latent + 2 IDM pixel + 2 pi05). QOS: core-extra. Wall-clock: IDM ~30 min, Pi05 ~4h.

3결과 — IDM 6-track

Overall (24-ep heldout EEF mm)

* Pixel MG-3000은 heldout 720 ep ⊂ training 70.5K ep 이라 unfair. 단순 참고용.
🆕 Latent-C: π0.5 KI 영감, dense N=12 layer routing on pooled cache (4×4 spatial). 전체 7트랙 중 std 가장 작음 (가장 일관된 품질).

Per-task EEF mm (전체 24-task × 7-track)

4결과 — Pi0.5 Real vs Synth

Overall

Per-task SR (24 task × 8 ep, success-by-task 정렬)

5산출물

분석 로그

스크립트 (commit accdef2 + 4131777)

• scripts/run_eval_pixel_mg30_24ep.sh, run_eval_pixel_mg3000_24ep.sh (신규)
• scripts/run_pi05_eval_24tasks.sh (신규, 24-task wrapper)
• scripts/build_per_task_comparison_videos.py (신규, 6-panel ffmpeg merger)
• Latent eval (기존): run_eval_latent_A_{24ep,v2_24ep,multi_24ep,multistream_24ep}.sh

결과 / 영상

• IDM 6-track summary.json: outputs/idm_simulator_eval{,_latent_A_*}/.../summary.json
• IDM per-track 영상 (트랙당 24 task × 3 ep × 3 mp4 + trajectory PNG): outputs/idm_simulator_eval_*/ckpt-60k/videos/ep_*/
• Per-task 6-panel 통합 영상 24개 (총 ~40 MB): outputs/per_task_comparison/<heldout_idx>_<task>.mp4
• Pi0.5 영상 (24 task × 8 ep): outputs/pi05_eval_24tasks/{b0_last_real,b1_last_zero}/<task_dir>/ep_*.mp4
• Pi0.5 AGGREGATE: outputs/pi05_eval_24tasks/{b0,b1}_last_*/AGGREGATE_summary.json

6Takeaway

1. Cosmos hidden > SigLIP visual (clean same-data 720 ep): Latent multistream 109.6 vs Pixel MG-30 172.0 = −37%. Cosmos large-scale video pretrain feature가 IDM 단계에서도 효과적.
2. multistream 아키텍처 우위 견고: PnP-종 task에서 v3 (dim concat)보다 일관 win (per-layer Linear+SelfAttn(2L)+token concat). 그러나 articulated double door에서는 inferior — 두 방식 상보적.
3. Latent-C n12 routing의 가치는 안정성: avg 116.1 mm로 multistream에 못 미치지만, per-task std 47.4 mm로 가장 일관. PnPMicrowaveToCounter outlier (다른 트랙 200~344) 를 169로 개선 — π0.5 KI 1:1 routing이 일부 task에선 진짜 효과.
4. Pi0.5 학습 정상, eval bug였음: B0 Real 17.2% / B1 Synth 4.7% — 4배 격차로 학습 quality 차이 분명. Pi0.5 학습 재실행 불필요 (eval pipeline 수정만으로 측정 가능했음).
5. DreamGen synth의 핵심 한계: 16-frame chunk + zero state로 long-horizon multi-step manipulation을 못 학습. Real heldout 720 ep로도 17.2%이므로 single-step task에선 충분, 복잡 task엔 long-horizon synth + IDM-state 도입 필요 (Step 5/6 plan).
6. v2 (action+state) trade-off: state supervision 비용 +13 mm (action). gripper_qpos만 13.9 mm로 좋고 base_pos 1.4 m global mean — 4×4 spatial pool 부족.

7다음 (Next)

• (선택) HF official IDM 24-ep — ckpt 위치 확인 후 동일 protocol로 재평가.
• (선택) Pi0.5 B2 mix 추가 — real / zero state 둘 다 측정해 분포 영향 정량.
• (선택) Latent-IDM B 평가 — 현재 15K (60K 미달). 60K 학습 재개 후 평가.
• Pi0.5 task별 success threshold 재calibration (open/PnP/articulated 등 GT replay로 final state 분포 측정 → 95th percentile 기반).
• Long-horizon synth track (Step 5/6, autoregressive video2world) 진행 — DreamGen 16-frame 한계 우회.
• Hybrid track 후보: PnP는 multistream, articulated는 v3, outlier task는 C로 routing — task-aware ensemble.