Daily Progress  목요일

2026-04-16  ·  기간: 2026-04-15 활동
3Active Projects
0Commits
16SLURM Jobs
4Work Logs

오늘의 우선순위

TL;DR

Active Projects

DreamData  (GR00T-Dreams + dreamzero)

High
Video generation model로 로봇 데이터셋을 증강. Limited teleop 데이터 → Wan2.1 LoRA fine-tuning → diverse rollout 생성 → VLA 학습 데이터. DreamZero-DROID warm-start 기반 Robocasa 도메인 적응이 현재 핵심 방향.

어제 핵심 진전

  • DreamZero vs vanilla Wan I2V 차이 분석: 가중치 이식 실패 원인 8가지 규명 — chunk-wise (K=2 latent frame) teacher-forced denoise, causal+chunk-local attention, joint [video+action] velocity 예측, per-chunk 독립 timestep, dynamic chunk latent conditioning. 이중 단 하나도 vanilla pipeline이 만족하지 못함.
  • Option A 확정: native DreamZero inference runtime 유지 + Robocasa 데이터만 교체. Robocasa가 DROID와 동일 schema(3-view, same cameras) → 학습 gap 최소.
  • Video-only inference pipeline 구축: scripts/inference/generate_video.py (331줄) + droid_video_eval.sh + robocasa_video_eval.sh. TORCHDYNAMO_DISABLE=1로 worker node gcc 이슈 해결.
  • 50-step sanity run 완료 (45460, 4GPU, 5m): Robocasa fine-tune dataloader + has_real_action=False 경로 정상 동작 확인. 본 학습 20,000-step 실행 준비 완료.
  • dreamzero inference 결과 검증: DATASET_CONTEXT=1 모드(학습 분포 일치) MP4 생성 확인. 5개 Robocasa 태스크 eval 잡 다수 COMPLETED.
  • GR00T-Dreams 두 잡 RUNNING 중: 44622(mg30, 4GPU, 1d15h+), 44833(14b_droid_4gpu, 4GPU, 1d11h+).

미해결 이슈 & 다음

  • chunk 경계 artifact — 학습 분포 확장 전까지 native에서도 존재. num_frame_per_block=2 구조에서 기인.
  • dataset class(ShardedLeRobotSubLangSingleActionChunkDatasetDROID)의 Robocasa v2.1 호환 미확인 — sanity run에서 터지지 않았으나 edge case 가능.
  • GR00T-Dreams 두 잡의 실제 loss 곡선 확인 필요 (slurms/*.out 확인).
  • Robocasa 본 학습 20k step 제출 (sanity 통과 확인됨): sbm "bash scripts/train/robocasa_video_finetune.sh" --gres=gpu:4 -c 96 --mem 800GB --qos=core-extra
  • Stage 2 (label decoder) 설계 착수 — Stage 1 LoRA 학습 완료 후
0Commits
9SLURM Jobs
2 LIVERunning GPUs×4
2Work Logs
Activity Details
Work Logs (dreamzero/claude/260415/)
  • progress-codebase_changes.md DreamZero video-only inference pipeline 구축 + Robocasa fine-tune 준비 (1파일 수정 + 5파일 신규)
  • research-dreamzero_vs_vanilla_video_training.md DreamZero vs vanilla Wan I2V 8가지 차이 분석 + Option A 결정 증거 기록
SLURM
2 running 6 completed 0
완료분 GPU time: 44622 1d15h(ongoing) · 44833 1d11h(ongoing) · 45460 5m×4GPU · evals ~2h×1GPU

EgoX2  (rgb + EgoX2_exp2)

High
Wan 2.2 I2V A14B 기반 exo→ego 비디오 예측. rgb branch: exo/ego width-concat + zero-cond baseline (→ droid_multiview로 확장 중). EgoX2_exp2: HCPT(Height-Concat Point-map + ego Prior) 도입으로 3D consistency 강화.

rgb — DROID Multiview 실험 세팅 완료

  • EgoX2_exp2 HCPT smoke test 통과: 10/10 steps, loss 3.82→2.75 (단조 감소), validation 2회 성공, peak VRAM 81GB (B200 178GB 대비 여유), checkpoint-10 저장 확인.
  • PT 데이터 확정: 3761 clips → --pt_max_abs 100 필터(reconstruction 실패 clip 제거) → 최종 3660 clip (train 3318 / val 342).
  • 버그 4개 수정: ① Args.validate_dataset_root hcpt_manifest 허용 ② training_type sft→LoRA(SFT 196GB OOM) ③ validation 후 scheduler timesteps/sigmas corrupt → 저장/복원 로직 추가 ④ worker node GPU 경합(PID 24GB 점유) → login GPU 7 우회.
  • DROID multiview ego first-frame conditioning: DroidMultiviewDataset(DroidDataset 서브클래스) 구현. 7 files 수정/추가. 정적 검증 통과 (py_compile + import + schema 체크). 44891(finetune_droid.sh) 8h10m 후 CANCELLED.
  • 최소 침습 설계: 기존 droid.yaml 실험과 완전 격리. _build_ego_cond hook 1개 + validation 주입 1곳 + 새 config 1개로 구현 완료.

미해결 이슈 & 다음

  • EgoX2_exp2 전체 학습 미제출 — prepare_dataset eager-precompute ~25분(8GPU DDP) 포함. 사용자 승인 필요.
  • rgb droid_multiview smoke test 미제출 — 44891 CANCELLED 이후 재제출 안 됨.
  • training(decord+torchvision) vs validation(PIL) resize 알고리즘 차이 → ego first-frame 픽셀 미세 불일치 가능성.
  • EgoX2_exp2 전체 학습: sbm "bash scripts/finetune_egoexo4d_hcpt.sh" --gres=gpu:8 -c 192 --mem 1600GB --qos=core-extra -J hcpt_train
  • rgb droid_multiview smoke: sbm "bash scripts/smoke_droid_multiview.sh" --qos=core-extra --gres=gpu:4 -c 96 --mem 800GB
  • rgb pt_loss / rgb_loss 분리 logging → tensorboard에서 분리 추적
0Commits
1SLURM Jobs
~33hGPU Hours
2Work Logs
Activity Details
Work Logs
  • EgoX2_exp2/260415/progress-hcpt_smoke_validation.md PT 분포 조사 + 필터링 + HCPT smoke 10 steps + 버그 4개 수정
  • rgb/260415/progress-droid_multiview_ego_first_frame.md DroidMultiviewDataset 구현 + validation 주입 + infer_droid.py 플래그 추가
SLURM
44891 CANCELLED (8h10m, 4GPU) — finetune_droid.sh
GPU time: 8h10m × 4 = ~32.7 GPU-hours

VGGRPO

Medium
4D latent geometry reward(LGM)로 video diffusion model의 3D consistency를 GRPO로 강화. Wrist-view 로봇 도메인 적용. Phase 2(LGM 구축): closed-form stitch layer search → best ℓ̂=7 확정(260413). Phase B(Conv3d 학습) 재시작 필요.

어제 활동

  • 44717 train_lgm_v3.sh CANCELLED (20h08m, 4GPU, core-extra): 학습 도중 by 10010 취소. 실제 학습 진행 여부/CANCELLED 시점 loss 미확인. slurms/*.out 확인 필요.
  • 신규 work log 없음 — 코드 변경 없이 SLURM 잡만 실행.

미해결 이슈 & 다음

  • 44717 CANCELLED 원인 불명 — 선점(preemption)인지 에러인지 확인 필요.
  • Depth label 품질: Any4D relative depth vs DROID metric depth 좌표계 불일치 미해결.
  • Phase B 재시작: sbm "bash scripts/resume_lgm_v2.sh" --init_conv3d experiments/stitch_search/conv3d_init_layer7.pt --stitch_layer 7
0Commits
1SLURM Jobs
~80hGPU Hours
0Work Logs
Activity Details
SLURM
44717 CANCELLED by 10010 (20h08m) — scripts/train_lgm_v3.sh, 4GPU
GPU time: 20h08m × 4 = ~80.5 GPU-hours

SLURM Jobs — 2026-04-15

Job ID 프로젝트 실행 명령 상태 GPU 실행 시간 노드
44622 DreamData/GR00T-Dreams run_cosmos_train_robocasa_mg30.sh RUNNING 4 1d 15h 50m+ 1
44833 DreamData/GR00T-Dreams run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh RUNNING 4 1d 11h 54m+ 1
44717 VGGRPO scripts/train_lgm_v3.sh CANCELLED 4 20h 08m 1
44891 EgoX2/rgb bash scripts/finetune_droid.sh CANCELLED 4 8h 10m 1
45460 DreamData/dreamzero MAX_STEPS=50 robocasa_video_finetune.sh COMPLETED 4 5m 21s 1
45517 vipe bash scripts/egoexo4d/run_vipe.sh COMPLETED 4 1h 33m 1
44672 vipe bash scripts/egoexo4d/run_vipe.sh COMPLETED 4 33m 51s 1
45462 DreamData/dreamzero scripts/inference/robocasa_video_eval.sh COMPLETED 1 38m 29s 1
45526 DreamData/dreamzero NUM_CHUNKS=1 robocasa_video_eval.sh COMPLETED 1 25m 12s 1
45461 DreamData/dreamzero scripts/inference/droid_video_eval.sh COMPLETED 1 13m 37s 1
45528 DreamData/dreamzero NUM_CHUNKS=1 droid_video_eval.sh COMPLETED 1 7m 59s 1
45447 DreamData/dreamzero scripts/inference/robocasa_video_eval.sh COMPLETED 1 10m 14s 1
45446 DreamData/dreamzero scripts/inference/droid_video_eval.sh COMPLETED 1 10m 13s 1
45444 Dataset/droid scripts/inference/droid_video_eval.sh COMPLETED 1 0s 1
45445 Dataset/droid scripts/inference/robocasa_video_eval.sh COMPLETED 1 0s 1

Inactive Projects

EgoX_wan2.2 No activity — 81f Phase2 학습 잡 37398 (PENDING/running 여부 불명)
EgoX_wan2.2_long 구현 미착수 — EgoX_wan2.2 안정화 후 착수 예정
Graph_VLM No activity — Gemini API 기반, GPU 불필요