Daily Progress

2026-05-11 (월)  ·  기간: 2026-05-08 금 ~ 2026-05-11 월 (3일)
2 활성 프로젝트
0 commits
~60+ SLURM jobs
0 현재 실행 중

오늘의 우선순위 (2026-05-11 월)

TL;DR

VGGRPO가 이번 주말 최대 활동. RoboCasa 11개 task 전처리(1 GPU × ~10–17h) 완료 + Phase 2 RL fine-tuning 계획서 작성. Cosmos-Predict2-2B base, Flow-GRPO vs DiffusionNFT 비교 구조 확정.

EgoX2/exp3에서 RoboCasa latent cache(rgb + pt mode, 8 GPU) 빌드 완료 — 어젯밤 3시 COMPLETED. 다음 학습 단계 진입 가능.

GR00T-Dreams(모니터링 대상)는 latentC 모델 학습·평가, 합성 데이터 dump 작업이 집중적으로 진행. eval_lC_v1 vs v2 비교 완료.

6개 대상 프로젝트 전체 커밋 0건. DreamData·EgoX_wan2.2·EgoX_wan2.2_long·Graph_VLM은 이번 주말 무활동. 구 클러스터 context.md 업데이트 시급.

프로젝트별 현황

⚠ 클러스터 전환 주의: DreamData context.md(job 38361/38513)와 EgoX_wan2.2 context.md(job 37398/38197)는 구 클러스터 5자리 job ID를 참조 중. 신 클러스터는 2026-05-09부터 job #140~로 시작. 두 프로젝트 상태는 직접 확인 필요.
VGGRPO High
11 task 전처리
~7 DA3 runs
1 plan 작성
  • RoboCasa 11개 task 전처리 완료 (job 804–814, 1 GPU × 8–17h): kitchen_sink 4종, kitchen_stove 2종, kitchen_doors 4종, kitchen_pnp 1종. preprocess_robocasa_task.sh로 depth HDF5 → DA3 학습 포맷 변환.
  • DA3 v1 single-GPU 학습 다수 완료 (job 313–325, 1 GPU 14CPU, ~10–13h씩). 일부 preempted(321, 322, 331–334). v1 loss 기준 ablation 데이터 수집 중.
  • Phase 2 RL 계획서 작성 (claude/260510/plan-vggrpo_phase2_rl.md): Base = Cosmos-Predict2-2B robocasa-MG30(iter 73.2K). Flow-GRPO vs DiffusionNFT 비교, Flow-Factory submodule 방식, 4D reward (motion + geo) 커스텀 통합.
  • May 9 오전: 4 GPU 학습 시도(job 184–186) → 단시간 종료(설정 문제). 이후 1 GPU 전환.
  • DA3 v1 vs v2 학습 결과(1500/3000/5000 step) 비교 — depth r, pose error
  • Flow-Factory submodule 추가: external/Flow-Factory/, custom reward 스텁 작성
  • LGM_DA3 frozen 후 Cosmos-Predict2-2B adapter 설계 착수
  • context.md Active Experiments 갱신 (구 클러스터 ID 제거)
EgoX2 / exp3 Medium
2 cache 완성
8 GPU 최종 job
~6.8h rgb+pt 합산
  • RoboCasa I2V latent cache 빌드 (다수 시도): job 772 (4 GPU, rgb, 8.5h), 799/800 (8 GPU, rgb/pt), 820 (rgb), 821 (pt, preempted), 973 (pt, 23min)
  • 최종 완료 (어제 밤): job 1091/1092 — 8 GPU, 112 CPU, 800GB. rgb cache (2h58m) + pt cache (3h51m) 모두 COMPLETED. 이제 학습 진입 가능.
  • config: configs/robocasa_i2v.yaml, script: scripts/build_robocasa_latent_cache.py
  • context.md 없음 — exp3의 목표/가설 파악 불가. 오늘 직접 확인 필요.
  • exp3 목표 확인 후 context.md 작성
  • latent cache 완성 기반으로 I2V 학습 스크립트 제출
  • Phase 1 vs 2 학습 설정 확인 (EgoX2 3D consistency 방향)
DreamData No activity
  • 이번 주말 SLURM 활동 없음 (신 클러스터 기준)
  • context.md 상 RUNNING으로 표시된 job 38361(Layout B T2V), 38513(Layout C I2V)은 구 클러스터 ID — 현재 상태 불명
  • Stage 1: Layout A+I2V 최선 확인. B T2V, C T2V/I2V 비교 대기 중
  • 전처리 v2(motion crop + task-balanced sampling) 미적용 — Stage 2 전 필수
  • Layout 학습 완료 여부 확인, 생성 품질 정성 평가
  • 전처리 v2 적용 및 재학습 계획 수립
EgoX_wan2.2 No activity
  • 이번 주말 SLURM 활동 없음 (신 클러스터 기준)
  • context.md 상 job 37398(Phase 2, 81f, 2d+ running), 38197(PENDING)은 구 클러스터 ID
  • Phase 2 validation (expert swap) 구현은 완료 (260408)
  • 81f 학습 실제 진행 여부 미확인 — loss curve, validation 이미지 확인 필요
  • Phase 2 81f 실제 학습 상태 확인 및 재제출 여부 결정
  • context.md 갱신 (신 클러스터 job ID로)

비활성 프로젝트

EgoX_wan2.2_long 구현 미착수 · 2026-03-10
Graph_VLM Tier 2 준비 중 · 2026-04-20

SLURM 요약

대표 job만 표시 (cancelled 다수 제외). 신 클러스터 기준 (2026-05-08 이후). 현재 실행 중인 job 없음.

Job ID 프로젝트 실행 명령 GPU 상태 실행 시간 시작
313–320 VGGRPO train_lgm_robocasa_da3_v0.sh (DA3 v1 학습, 8×parallel) 1×8 COMPLETED 8h15m–13h16m 05-09 12:55
321, 322 VGGRPO train_lgm_robocasa_da3_v0.sh (DA3 v1, preempted) 1×2 PREEMPTED 0h10m / 3h30m 05-09 12:56
323–325 VGGRPO train_lgm_robocasa_da3_v0.sh (DA3 v1 학습) 1×3 COMPLETED 11h12m–11h39m 05-09 12:56
804–808 VGGRPO preprocess_robocasa_task.sh — TurnSinkSpout, TurnOnSinkFaucet, TurnOffSinkFaucet, TurnOnStove, TurnOffStove 1×5 COMPLETED 8h19m–11h0m 05-10 11:52
809–814 VGGRPO preprocess_robocasa_task.sh — CloseSingleDoor, OpenDoubleDoor, PnPStoveToCounter, PnPCounterToStove, CloseDoubleDoor, OpenSingleDoor 1×6 COMPLETED 2h24m–17h0m 05-10 11:52
772 EgoX2/exp3 build_robocasa_latent_cache.py --mode rgb (4 GPU) 4 COMPLETED 8h30m 05-10 01:49
799, 800 EgoX2/exp3 build_robocasa_latent_cache.py --mode pt / --all-demos --mode pt 8×2 COMPLETED 3m / 4h45m 05-10 10:24
821 EgoX2/exp3 build_robocasa_latent_cache.py --mode pt (preempted) 8 PREEMPTED 0h52m 05-10 15:53
1091, 1092 EgoX2/exp3 build_robocasa_latent_cache.py --mode rgb / --mode pt (최종 완료) 8×2 COMPLETED 2h58m / 3h51m 05-10 23:33
307 GR00T-Dreams template.sh (대형 학습, 8 GPU) 8 COMPLETED 1d 8h11m 05-09 12:29
1022 GR00T-Dreams run_idm_train_robocasa_latent_C_n12_pooled_v2.sh (latentC_n12pv2_60k) 8 COMPLETED 2h11m 05-10 20:02
1031 GR00T-Dreams run_cosmos_datagen_autoregressive.sh STAGE=ar_p3_random_v2 8 COMPLETED 3h4m 05-10 20:19
1109, 1110 GR00T-Dreams run_eval_latent_C_24ep.sh / run_eval_latent_C_n12_pooled_v2_24ep.sh 1×2 COMPLETED 32m / 33m 05-11 00:10
1111 GR00T-Dreams run_eval_h50_v2_24ep.sh 1 COMPLETED 0h57m 05-11 00:20
1128–1130 GR00T-Dreams run_synthetic_dump_v2_h50.sh (3×parallel) 1×3 COMPLETED 6h47m–7h14m 05-11 01:13