TL;DR
- 학습 완주: 20,000 step / 12h30m (8× B200), loss 1.52 → 0.011
- 학습 태스크(PnP) rollout 최고 48.5% (15k ckpt) — MolmoBot 논문 pi0.5 ft 평균(36.0%, aux mixture 포함)을 더 어려운 HardBench에서 +12.5%p 상회
- 미학습 태스크는 낮음 (Pick 최고 9.5%, NextTo 12.0%) → 범용성엔 aux mixture 필요함을 실증. 최적 단일 ckpt = 15000 (Pick·PnP 최고; NextTo만 5k 피크 15%)
- 후속: aux 4종(4.6TB) 다운로드 시작 — 공식 mixture 가중치로 동일 20k step A/B 학습 예정
1설정
config : pi05_mlspaces_finetune (AllenAI 공식, 무수정)
init : pi05_droid → PyTorch 변환 (검증: missing 0 / unexpected 0)
action : joint_pos_rel ÷ 0.2 (velocity 규약) + gripper ÷ 255, DROID quantile norm
데이터 : FrankaPickAndPlaceOmniCamConfig part1 전체 — 221,109 eps / 58.1M frames
학습 : 8× B200(own) · batch 256 · 20k steps · bf16 · lr 5e-5 · cuda-12.8-devel 컨테이너
평가 : bench-v2 HardBench 200ep × 3태스크 (procthor-10k val 씬), PiJointVelPolicy
2Rollout 성공률 (HardBench 200ep)
| step | Pick (미학습) | PnP (학습 태스크) | NextTo (미학습 변형) |
|---|
| 1000 | 3.85% | – | – |
| 5000 | 4.50% | 36.36% | 15.00% |
| 10000 | 6.00% | 33.00% | 8.50% |
| 15000 | 9.50% | 48.50% 🏆 | 12.00% |
| 20000 | 7.50% | 42.50% | 10.50% |
PnP 최고 48.5%(15k ckpt) > 논문 36.0% — 논문 수치는 15k step + aux mixture + (더 쉬운) 자체 평가셋 기준. 우리는 part1 단일 데이터·HardBench(카메라/포즈 OOD)에서 이를 상회. action 규약 매칭이 완전했다는 증거 (5k만에 36% 도달).
미학습 태스크(Pick·NextTo)는 4~11%에 머묾 — PnP 단일 데이터의 한계. AllenAI가 aux mixture를 쓴 이유의 재현. 15k Pick 초기 0%는 선점 glitch로 확인(재검 9.5%) — Pick은 3.85→9.5%로 완만 상승, 과특화 퇴화 아님. 최적 단일 ckpt = 15000 (Pick·PnP 최고). 단 NextTo는 5k가 최고(15.0%)로 이후 완만 하락 — 사전학습의 일반 배치 능력이 PnP 단일 학습에 씻겨나가는 경미한 forgetting 신호(~2σ), aux mixture가 해결할 지점.
3과정 요약 (트러블슈팅 5건)
| 이슈 | 원인 | 해결 |
|---|
| dataloader 워커 전멸 (90분 hang) | opencv 이중설치 → cv2/typing 섀도잉 | headless 단독 + uv override |
B200 no kernel image | torch cu126 (sm_100 미포함) | cu128 인덱스 핀 |
| worker Triton JIT 실패 | 기본 이미지에 gcc 없음 (§13) | --container=cuda-12.8-devel |
| NCCL 600s 타임아웃 | NAS 부하 시 rank 정지 | DDP timeout 60분 + IFNAME 고정 |
| step 17 크래시 | 배포판 자체 결함 (mp4 누락 2·손상 7, 재다운로드로 확정) | 3중 전수 스캔 → 2 eps 제외 |
평가 인프라: EGL 셰임(GLVND 부재 대응), bench-v2 호환 패치 2건(구 패키지명 정규화 · displacement assert 완화), wandb 하드코딩 entity 패치. 선점 대응: 벤치당 1잡 분할 + own QOS 배치.
4Next — aux mixture 학습 (진행 중)
계획
공식 레시피 aux 4종 다운로드 중 (Pick p0 2.1TB · PnP p0 2.2TB · NextTo p2 0.3TB · Color p0 0.2TB ≈ 4.6TB, ~13h). 완료 후 무결성 스캔 → mixture 가중치 (main 0.35 / Pick 0.2 / PnP-p0 0.1 / NextTo 0.2 / Color 0.15)로 pi05_droid에서 재학습. 동일 20k step으로 part1-only와 직접 A/B — 기대: Pick/NextTo 대폭 상승, PnP 유지~소폭 변동.
NAS 여유 37TB → 완료 후 ~32TB. shard cache 정리 예정.