DreamData

DreamZero-DROID RoboLab 표준 15태스크 3-view 평가 — 44/150 = 29.3%, 태스크별 상상 vs 실제 영상 갤러리. cosmos3(42.0%)와 동일 조건 비교

RoboLab(Isaac Sim)이 B200에서 정상 구동 확인 — 50/50 steps, 3.24 it/s. 초기 \1 가설은 오진이었고 실제 원인은 컨테이너의 벤더 중립 로더(libglvnd/vulkan-loader) 부재였음

hyojinjang RoboCasa 3뷰(exterior_1/2, wrist) LeRobot 데이터를 Cosmos-Predict2.5의 view-embedding 경로(\1, 모델 수술 불필요)로 배선. 데이터 변환 스크립트(파일럿 5 task, train 1425/val 75) + dataloader/experiment config 등록 완료(Phase 1-3), CP≥3 제약으로 Phase 4 dry-run은 sbatch(4GPU) 대기.

DROID init 이점을 위해 Path B(2×2 grid, Predict2.0 14B, DROID pretrained) 선택. \1 오진단을 정정(apex sm_80/90 커널 등록이 원인, torch nightly cu128 + apex/TE/flash-attn 제거로 해결)한 뒤 dry-run job 31933 성공(loss 0.26~0.95), 8GPU 본학습 job 31988 RUNNING(iter200, loss 0.20~0.41, 6.77s/iter, 20k step ~37h 예상).

DreamZero-DROID(Wan2.2-5B) 1xB200 추론 레이턴시: eager action_call 2529ms(9.5Hz), compiled 2473ms(9.7Hz). torch.compile 개선 2.3% — marginal. action chunk 24개 기준 action당 105ms.

260606 사고로 소실된 GR00T-Dreams 코드를 GitHub gr00t 브랜치(HEAD 9a2a2d4, 688 파일, 244M)에서 복구. plain pi0.5 ckpt(b0/b1/b2) 전부 소실 확인 + state schema 버그 재확인. 즉시 eval 가능한 ckpt는 pi05_frappe_base 하나뿐.

260611 mid 5 트랙 재학습 jobs 14378~14382 전부 ~1분 내 즉시 실패. 원인: resume=False인데 출력 디렉토리가 이미 존재. 내부 checkpoints/는 완전히 비어 있음 — mid 5 트랙 ckpt 전무, 재제출 필요.

260606 디스크 정리 중 frappe + GR00T-Dreams ckpt 10 트랙(~200GB) 전부 손실. \1 jsonl replay로 코드 100% 복구 완료. mid 6 트랙 재학습 제출(jobs 12966~12971) — base 7h38min 정상 완료, midA/midB/dinov2/clip 단시간 완료(이상), mid_vit CANCELLED.

MoE post-train 폐기 후 새 방향: midA(theia, 67.1%) 대비 DINOv2-ViT-B / CLIP-ViT-H / ViT-huge-patch로 mid-train teacher 교체 ablation. jobs 12051/12052/12053 제출, 각 20K step / 4GPU / DAVIAN MG-3000. 결과 대기 중.

MoE v3(frappe_base init + RDT 4수정) = 62.7%(301/480) — base(63.5%)보다도 낮음. 가설 REJECTED: theia alignment가 MoE를 막은 것이 아니라 실제 +3.6%p 기여. init을 바꿔도 MoE post-train 구조적 한계 재확인.

FRAPPE MoE v1 66.7%(320/480), v2 66.2%(318/480) — 단일-teacher midA 67.1% 초과 실패. 5-way 최종 순위: midA > moe > moe_v2 > midB > base. MoE 복잡도가 FRAPPE alignment에 추가 이점을 주지 못함.

frappe_moe 20K step 학습 완료 (4 GPU ×10h). midA frozen base에 teacher별 LoRA 3개(dinov2/clip/vit) + gate router. 24-task eval 진행 중 (job 10541). CloseDoubleDoor in-train eval 정상 수렴 확인.

FRAPPE base/midA/midB 20K step 24-task eval 완료 — midA 322/480=67.1% 최고, base 대비 +3.6pp. PnPSinkToCounter +25pp 등 PnP 계열 대폭 개선. midA > midB > base 순위 확정.

Pi0.5 + FRAPPE alignment 3-way 비교 실험 착수 — frappe_base(plain pi05) 20K step eval 완료: SR 63.5%(305/480, 24 task). frappe_midA/midB(variant A/B, theia-base-vit alignment) eval 진행 중.

Cosmos AR 생성 비디오 → droid-IDM action → robocasa sim open-loop 재생: 8/72 ep = 11.1% 전체 SR. PnP 계열 전멸(0%), 단순 1DoF task(TurnSinkSpout 67%, CloseDrawer/CoffeePressButton 33%) 선택적 성공 패턴.

dream AR 비디오에서 뽑은 droid-IDM action을 robocasa sim에 직접 투입하는 open-loop 성공률 평가 파이프라인 구축 — 3-view 영상(위=cosmos/아래=sim), 4-GPU 샤딩 24 task×3 ep=72 ep 병렬 실행 중 (job 10010-10013)

Cosmos init0_v2 생성 모델 = 14B full-FT(DROID-init) 47.2k steps(~369 GPU-h) 확인. 1440 ep 실패 스코어링 결과 — 미세 articulated 동작 task(TurnOffStove badness=0.990, TurnOnSinkFaucet badness=0.970)가 worst, AR chaining collapse 패턴.

state-fix 공정 재실험 완료 — delta_sf 244.6mm(기준 feat_delta_reg 104.79mm의 2.3×), 2frame_sf 635.8mm(최악). Pi0.5-delta IDM 트랙 기각 확정.

factory.py:62 resolve_delta_timestamps가 observation.state에도 [0,16] 적용 → state (2,16) malform. v1/v2/normfix 562/540/396mm 전부 무효. train_bc.py statefix 후 5031(first_sf) ≈ 4933(plain pi05) SR band 검증 완료. delta_sf(5114)·2frame_sf(5115) 공정 재실험 진행 중.

teacher-forced closed-loop eval + control 절대최종. 3-way ms600: control first_sf@20K(native 1.0) 0.812 vs delta@10K 0.312 vs delta@20K 0.250(~0.31x). delta@20K≈@10K → '더학습' caveat 닫힘. 완전모델실패 기각이나 delta-입력 본질적·지속적·명백 약함(2/4 완전실패, 교란 모두 제거) → delta-입력 backbone-swap 트랙 종료 확정.

IDM 2×2×2 — action head(sim EEF)과 state prediction head를 독립 평가. Feature 셀은 action head(104-123mm) vs state head(247-262mm) 완전 decoupled. pix_delta_diff만 두 head 균형(coupled). pix_abs_diff state quat 117° anti-aligned collapse.

IDM 2×2×2 qnorm(q01/q99+clamp) 8-cell 재학습 완료 — pix_delta_reg 303→169mm(−44%) 구원, feat_delta_reg 106mm best 유지. q01/q99+clamp new default 채택. pix_abs_diff collapse는 norm으로 미해결.

IDM Pixel 4-cell closed-loop eval 완료 — OL 1위 pix_delta_diff(181mm)가 CL 4위(577mm, +218%) 추락. CL 최강은 pix_delta_reg(327mm). Regression이 visual distribution shift에 robust.

Pi0.5 Delta-IDM v1 20K eval 실패 — EEF 562mm(IDM baseline 107mm 대비 5×). 가설: state input 제거가 pretrained 분포 파괴. v2(STATE=on) Job 2650 진행 중.

IDM 3-axis 직교 ablation 8 cell 24-ep heldout eval 완료 — feat_delta_reg 104.79mm SOTA. Feature > Pixel −62% (avg 113 vs 297mm). qnorm 8 cell 재학습 진행 중.

Pi0.5 전체 dataset stats.json bug 발견 — 5개 dataset 모두 byte-exact 동일 stats, 실측 분포와 불일치. gripper dim6 unnormalize 범위 제한 → close-task SR=0 결정적 원인 후보. 재계산 후 2355/2356/2357 재제출.

IDM 2×2×2 Ablation Pixel half — pix_delta_diff 189.83mm ⭐ (abs 대비 −45%). Δ×regression 조합은 오히려 +60% 악화. batch=1024 재학습 시 SOTA ~95mm 예상.

IDM 3-axis 직교 2×2×2 ablation 설계 — input(pixel/feature) × frame(abs/Δ) × loss(diff/reg) = 8 cell. 신규 코드: siglip_delta/cosmos_2frame_abs/delta 분기 + regression learnable z0 + dataset_latent_idm_2frame.py. pixel half eval 완료(pix_delta_diff 189.83mm ⭐), feature half 학습 중.

Pi0.5 Delta-IDM 구현 완료 — pi05_delta 정책 등록, monkey-patch delta preprocess, 9/9 unit tests PASS. Smoke Job 2436: loss 0.395→0.148 (−62.5%, 100 step). Full train Job 2447 RUNNING (4 GPU, 20K step).

Pi0.5 P3 mix ablation: OLD H50 IDM vs NEW droid IDM aux dataset 단일 변수 비교. 3 variants (init0/mid/random) Jobs 2077/2078/2079 각 ~5h 완료. 코드·config·main dataset·seed 동일, aux만 다름.

DreamGen P3 v2 3 stage를 droid IDM (siglip-only)으로 전체 re-dump + HF push 완료. action range 10/13 task full ±1 정상화 (OLD H50 IDM은 0/13). Jobs 1975/1976/1977, 각 ~5h18m~5h39m.

Latent-IDM Option D 설계 완료 — Cosmos hidden 인접 frame 차분 Δh를 KV로 사용하는 motion-only 가설. Latent-B 인프라 99% 재사용. Phase 0 viz→Phase 1 구현→smoke 통과→60K 학습 제출.

Pi0.5 B2 mix (real+synth 5:5) 3 variants (init0/mid/random) RUNNING — DAVIAN H50 ref config(SR=0.75) 정렬, torchcodec·SSL·HF env 3종 patch 완료. 자립형 참고 doc 작성.

IDM h50 v2 eval 721mm 실패 원인 = 학습(robomimic 128×128)·eval(droid 180×320) 카메라 OOD. cross-source hybrid dataset으로 droid video + h50 state 조합 → ckpt-10K에서 167.9mm(4.3× 회복).

Latent-C v1 (action only) 115.66mm · v2 (action+state mg30_real_h50) 147.31mm — 두 모델 60K 완료 + 24-ep eval 완료. state supervision 비용 +31.65mm. Pi0.5 downstream 투입 또는 loss reweight 재학습 결정 필요.

torchcodec를 GR00T-Dreams 전사 video backend로 채택. AV1 codec 지원, 2-frame seek 0.73ms (PyAV 12.8ms 대비 17×). dlopen libstdc++ mismatch를 LD_LIBRARY_PATH 노출로 해결.

IDM v2 Pixel (mg30_real_h50 v3.0 직접 읽기) 파이프라인 완성 — AV1 codec 발견, torchcodec 전환(17×), schema 정합 smoke/mini 통과. 8 GPU 60K 학습 제출 대기.

mg30_real_h50 720ep 추출 완료(1h 5m) + DAVIAN MG_30 동일 demo set 검증 698/698. state schema fraud(joint_pos가 H50 이름으로) 해소, 16-dim quat norm=1.0 전부 통과.

DreamGen P3 Cosmos Autoregressive 파일럿: 16-frame 청크 한계 극복을 위한 chained inference 구현. Job 10659 COMPLETED(33min), 전환 자연스러움 확인. 2-iter(11.6s) 테스트 결과 CloseDoubleDoor 한 쪽 문만 닫힘 → N=5 필요. 24 task별 iters 계산(2~8 범위), 전체 비용 ~160 GPU-hr (1440 ep × 평균 4 iter × 8 GPU × 10분/iter).

IDM 7-track + Pi0.5 B0/B1 종합 24-ep heldout 평가. Latent-A multistream 109.6 mm (clean best), Latent-C n12 routed 116.1 mm (가장 낮은 std 47.4). Pi0.5 B0 Real 17.2% vs B1 Synth 4.7% (3.7× 격차). Per-task 8-panel 비교 영상 24개 (GT + 7 IDM, 4×2 perfect fit).

Pi0.5 state distribution mismatch 진단: B0(heldout) real proprio state vs B1(P2) all-zero, fps도 20 vs 16 불일치. disable_proprio는 noop. Step 1+2 검증: real state → robot 실제 close 시도 확인(0.938→−0.010), zero state → 약한 close. 6단계 재학습 플랜 중 Step 5+6(long-horizon autoregressive 합성) Job 9973 PENDING 제출.

Latent-IDM A Multistream ckpt-60K 최종: EEF 107.46 mm (55K 104.99 대비 +2.47 mm, mild overfit). v3 대비 −3.4 mm (3.1%). PnP grasp에서 일관된 architectural 우위, door articulated는 55K/60K 모두 +90 mm 악화. 5K saturation 확정 — 향후 학습 cycle 30K~40K로 단축 가능.

Pi0.5 B0 eval 0% SR 원인은 policy 부족이 아닌 eval pipeline 4중 bug — (1) reward==1.0 오판, (2) v0.1 assets 누락, (3) CloseDoubleDoor threshold 0.05 too strict, (4) DexMG random init ≠ heldout 분포. GT replay + EnvUtils.reset_to = strict 70% / relaxed 100%. v0.1 native eval은 pre-public commit lost로 영구 불가.

Latent-IDM C: π0.5 KI/π0 MoE 영감의 Layer-Routed ActionDiT 설계. ActionDiT block i가 Cosmos hidden layer f(i)만 KV로 받는 1:1 routing. Phase 1 dense N=12 (cache 6.7 TB, ~7.6일 학습, 목표 ≤125 mm EEF), Phase 2 sparse (4-6 layers). 코드 인프라 완료: RobocasaLatentIDMDatasetHiddenMultiLayer + cosmos_hidden_multilayer_cache 분기 + 새 feature_source 추가.

Latent-IDM A multistream (per-layer SelfAttn + token concat) ckpt-55K 24-ep eval: EEF 104.99 mm — v3 concat 110.9 mm 대비 −5.9 mm (5.3%), 전 트랙 최고. PnP grasp 태스크에서 layer-wise semantic 보존 가설 부분 입증. Double-door articulated는 오히려 악화. gripper acc v3 대비 −2.4%p. \1 cosmos_pooled_cache_multistream 누락 버그 fix.

Pi0.5 B1(synthetic-only 1440 ep) ckpt-015500 4-task mid-eval: 0/32 (0% SR). loss 0.018로 수렴하지만 closed-loop SR 없음. real heldout 720 ep → LeRobot v3.0 변환 + HF push(Keh0t0/robocasa_heldout_real) 완료 후 B0 baseline 학습(Job 5889) PENDING 제출. HF token 관리 이슈(cached token sungwon95 덮어씀) 해결.

Pi0.5 fine-tuning 데이터 전략 설계: B2(real+synthetic 50:50 mix) + B3(P2 metadata 기반 real-prefix stitch) + B4(B2+B3 결합). B1 synthetic-only 0% SR 원인(짧은 ep 길이, distribution mismatch, real 미활용)을 보완. B2는 MultiLeRobotDataset 패치로 구현, B3는 batch_input_full.json 역추적으로 1440 ep 각각 heldout prefix + P2 suffix 연결.

Latent-IDM A v3 (multi-layer {18,24,30} concat) 60K + 24-ep eval: avg EEF 110.9 mm (v1 single 114.2 대비 −3.3 mm, +3%), gripper acc 86.2% (+1.9%p). 비용(3× cache, −26% throughput) 대비 개선폭 marginal. task별 분산 크고 Linear projection이 layer 정보를 충분히 fuse 못함 시사. 다음 우선순위: spatial resolution ↑ (4×4 → 8×8).

dreamzero(T-자형, umt5-xxl, OXE_DROID)와 GR00T-Dreams(2×2 grid, T5/Qwen, DROID 4-quadrant) 두 repo의 multi-view stitching layout과 text prompt 구성 방식 비교 정리. Layout-prompt 쌍이 학습되며, view 위치를 자연어로 명시해 모델이 spatial 배치를 disambiguate하도록 설계.

Phase 4: GR00T N1 대신 Pi0.5(\1)로 변경. DreamGen P2 1440 ep synthetic-only(B1) 먼저, 이후 real+synthetic mix(B2). DAVIAN fork의 tune_targets 전체 동결 함정 파악 및 full fine-tune 설정 확정. projection layers 동결 한계 인지.

DreamGen 옵션 A 베이스라인 P2 완성. Cosmos 14B + IDM MG-3000으로 1440 ep(24 task × 5 ep × 3 init_frame × 4 seed) 생성 → LeRobot v3.0 변환 → HF \1 push. chunks_size=10000 버그 패치 포함. Phase 4 (Pi0.5 fine-tuning) 진입 가능.

Latent-A v2(action+state 동시 예측) 60K 학습(loss 0.0096) 후 24-ep heldout eval. Action mm 127.9 (v1 114.2 대비 +13.7, state supervision 비용). State quality: gripper_qpos 13.9 mm ✅, base_pos 1431 mm ❌(global mean collapse), base_to_eef_pos 254 mm / base_quat 71.7° ⚠️.

MG-30 동일 조건(batch 1024, 60K step) 비교: Pixel v2_8gpu 134.8 mm ≈ Latent-A 131.8 mm. 이전 'latent 2.5× 개선' 주장은 batch 64↔1024 비교 오해석. batch 효과(332→134.8 mm, 2.46×)가 latent 표현 효과보다 압도적. 데이터 97.5× 확장(MG-30→MG-3000)은 21 mm 개선에 그침.

IDM v1 무수정 유지하며 HF robocasa-H50 v3.0 호환 state 16-dim (eef pos/quat + base pos/quat + gripper) 동시 예측 v2 라인업 구현 완료. 8개 신규 파일, 37,420 샘플, xyzw quat 정합성 검증 완료. action_dim=32 그대로 유지 ([0:12] action + [12:28] state). 60K 본 학습 smoke job 실행 중 (job 101).

DreamGen Datagen P0 (10 video) end-to-end 완료. Cosmos 14B → IDM pseudo-action → LeRobot v3.0 변환까지 단일 wrapper로 자동화. 총 소요 10분 28초 (4 GPU 8m 8s + 1 GPU 2m 20s). HF DAVIAN-Robotics/robocasa-H50 v3.0 레이아웃 100% 호환 (av1 인코딩, 6.9MB→4.6MB). P1/P2 스케일업 준비 완료.

IDM MG-30 시뮬레이터 replay 평가: Ours(332mm) vs HF FullSet(113mm, 66%↓). 코드 문제 아님 — 데이터 규모 100배 차이(720ep vs 72K ep)가 원인. embodiment_tag 버그 발견·수정. MG-3000 학습으로 HF 수준 달성 예상.

IDM MG-3000 학습 제출 완료 (SLURM 54326, RUNNING). 데이터셋 70,492 ep 준비 완료. HF FullSet과 동일 규모 — 완료 시 113mm 수준 달성 예상. 반복 preemption(53287→53346→53609→53620→54138→54326) 끝에 안정 실행 중.

IDM MG-30 held-out 평가: ckpt-10K CosSim=0.161, ckpt-20K CosSim=0.078 (소폭 하락). DreamGen 논문도 low data=720으로 IDM 학습 — 우리 세팅이 논문과 동일. 논문은 downstream SR만 보고, CosSim 절댓값 자체는 판단 기준 아님.

MG-30 v2 전처리(sliding window 클립)로 Layout B/C I2V 학습 시작. 반복 preemption으로 B는 1K, C는 3K step 도달. Layout A I2V v2는 50K step 완료(validation 48K까지 생성). 해상도 변경: B/C 모두 480×832로 통일.

IDM를 normalized-space CosSim 대신 RoboCasa 시뮬레이터에서 직접 리플레이하여 EEF 궤적 divergence와 task success rate로 평가하는 4단계 계획 수립.

Cosmos-Predict2 14B (GR00T-DROID init)로 RoboCasa MG-30 real data 파인튜닝 중. SLURM job 48079 RUNNING 3일 8시간, iter 38400 도달, loss 0.2185, 20초/iter (4×B200). 반복 preemption 후 현재 안정 실행 중.

IDM을 RoboCasa MG-30(720 ep)으로 from scratch 학습 — 10K steps, loss 1.04→0.109, 85분(4×B200). EEF-space 12-dim action 학습 파이프라인 end-to-end 검증 완료.

RoboCasa MG split은 HDF5 mask 그룹에 정의된 랜덤 샘플링 demo ID 목록이다 — 번호순 앞 N개가 아님. demo_N → episode_N 1:1 매핑 확인, 24개 task HDF5 경로 목록 정리.

260406-260412 · MG-30 LoRA finetune · 14B I2V · 4×B200 DDP

260406-260412 · Robotics video world model for VLA augmentation

260406-260412 · A T2V · A I2V · B I2V 정성 비교 + 가설 검증

260406-260412 · Stage 1 표현 결정 + Stage 2 진입 조건 정의

DreamData Analysis

DreamData: Video Diffusion for Robot Sim

Experiments

DreamData Progress

4종 비교 (Finetrainers, Diffusers script, SimpleTuner, MusePose) 중 Finetrainers v0.2.0 선택. LoRA + multi-resolution 지원, B200 호환, Wan2.1 T2V/I2V 파이프라인 내장.