run_pi05_eval_watch_chain.sh) + wandb auto-push (push_eval_to_wandb.py) 인프라 완성.이전 Pi0.5 B0/B1/B2 학습은 reference 없이 추정으로 config을 짰다. DAVIAN H50 완료 run (pi05-robocasa-H50-lr=1e-4-bs=64-steps=20000-tune_all-chunk=50-correct-prep, eval/SR=0.75)과 비교하면 chunk_size 16 vs 50, n_action_steps 16 vs 25, disable_proprio True vs False, eff batch 256 vs 64 등 큰 차이가 있었다. 이 config 차이가 SR=0 의 원인 중 하나일 가능성이 높아 전면 재정렬 후 새 트랙 시작.
| 항목 | 이전 (추정) | 새 config (DAVIAN 정렬) |
|---|---|---|
chunk_size | 16 | 50 |
n_action_steps | 16 | 25 |
eff batch | 256 (bs16 × grad_accum4) | 64 (bs16 × grad_accum1, 4 GPU) |
disable_proprio | True | False (proprio 사용) |
gradient_checkpointing | True | False (~30% 빠름) |
scheduler_warmup_steps | 500 | 1000 |
num_save_checkpoints | 3 | 5 (5K/10K/15K/20K 4점) |
video_backend | decord (AV1 비호환) | torchcodec |
train_bc.py WeightedRandomSampler 기반. main_weight = (1-0.5)/n_main, aux_weight = 0.5/n_aux per sample. batch_size 16 + w=0.5 → 평균 8 main + 8 aux. aux_dataset_root 분리 패치 적용 (deepcopy 시 main root inherit 버그 수정).
| Variant | init_frame | Job | QOS | 상태 (260511 02:45) |
|---|---|---|---|---|
| init0 | heldout demo frame 0 | 1198 | own | RUNNING, step 18+, mix logged |
| mid | ep length/3 시점 | 1199 | own | RUNNING |
| random | robocasa random scene | 1200 | extra | RUNNING |
main: 206,570 frames (mg30_real_h50) + aux: ~535,680 frames (dreamgen_p3_{init0/mid/random}_v2)
INFO Multi-dataset mix: main=206570 fr (w=0.50) + aux=535680 fr (w=0.50) / throughput ~1.8 it/s (4 GPU bf16 chunk=50) / 첫 ckpt @ step 1000 (~9분) / 첫 in-loop eval @ step 1000 (~12분, wandb eval/success_rate push 시작).HF cache prefetch 완료 (multi-rank download race 방지): /home/nas_main/.cache/huggingface/lerobot/Keh0t0/dreamgen_robocasa_p3_{init0,mid,random}_v2/ — data/meta/videos 모두.
실제 학습 성능 (SR): 20K step 완료 후 24-task PoC eval로 측정 예정. In-loop eval은 mg30_real_h50/DAVIAN-H50 dataset에서만 valid (학습-sim 분포 매칭 시).
B2 mix (real+synth)의 SR을 B0_ref (real-only mg30_real_h50)와 비교하는 것이 DreamGen 효과의 핵심 메트릭. B0_ref는 아직 미제출 — 다음 우선순위. B2 3 variants (init0/mid/random)는 synth 데이터의 init_frame 다양성이 mix SR에 어떤 영향을 주는지 비교.
In-loop eval (CloseDoubleDoor, 20 ep, 매 1000 step)은 DAVIAN H50 target SR=0.75 달성 여부를 실시간으로 판단하는 proxy. 24-task PoC eval은 학습 완료 후 watcher 자동 제출.
run_pi05_eval_watch_chain.sh b2_p3_init0 / b2_p3_mid / b2_p3_random).dreamgen-pi05 프로젝트에서 eval/success_rate step별 추이 모니터링. 목표: DAVIAN 0.75에 근접.