Daily Progress Report

2026-06-15, 월요일

Coverage: 2026-06-12 (금) — 2026-06-14 (일) · 3일
6 대상 프로젝트
0 Git 커밋
11 SLURM 작업
0 현재 실행 중
1 claude 문서 (260612)
오늘의 우선순위
TL;DR

금~일 주요 이벤트: DreamData/GR00T-Dreams 코드 완전 복원 (260612) — 260606 디스크 사고로 소실된 코드를 GitHub gr00t 브랜치에서 244M 복구. gr00t 패키지·Cosmos-Predict2·Pi0.5 학습 스크립트·작업 로그 전부 살아있음.

SLURM: VGGRPO DA3 v2 학습 4 GPU·2h36m COMPLETED (job 11869), Cosmos FD-AV·policy latency 벤치마킹 집중 (6/12 오후, 1 GPU × 7 runs), DreamZero latency 3종 비교 (normal·재실행·torch.compile), X-WAM robocasa eval 100 ep (8 GPU·1h28m). 총 11개 작업 모두 COMPLETED.

현재 실행 중 작업 0개 — 모든 큐 비어있음. EgoX_wan2.2 Phase 2 (job 37398) 진행 상황 확인 필요 (2일+ 경과). Pi0.5 B1 80%+ → 완료 임박.

Critical: Pi0.5 B0/B2 ckpt 전부 소실 + robocasa_heldout_real state schema fraud (8-dim 실제값이 16-dim 스키마로 포장) → 재추출 + 재학습 없이 DreamGen 효과(B0 baseline vs B2 mix) 검증 불가.

프로젝트별 현황
DreamData / GR00T-Dreams High IDM → DreamGen pipeline → Pi0.5 fine-tuning
지난 3일 (260612)
  • 코드 복원 완료 — git clone --depth 1 --branch gr00t KEH0T0/DreamData → Robotics/DreamData/. 244M, 688 files, HEAD 9a2a2d4 ("state schema fix handoff 260508"). gr00t 패키지·cosmos-predict2·scripts 전체·claude/260503–260508 작업로그 살아있음.
  • 디렉토리 분리 유지: 코드 = Robotics/DreamData/, ckpt = Robotics/GR00T-Dreams/outputs/. 스크립트 절대경로 참조 → 이동 없이 동작.
  • 생존 ckpt: pi05_frappe_base (20G, step 020000) 하나뿐. plain B0·B1·B2 ckpt 전부 소실 → 즉시 eval 불가.
  • State schema fraud 재확인: Keh0t0/robocasa_heldout_real features.names = H50 표준 16-dim 이지만 실제 값 = joint_pos[7] + gripper[1] + zero[8] (8-dim hyojinjang). B0·B2 재추출 + 재학습 필수. IDM state 미사용 트랙 결과는 valid.
  • Pi0.5 B1 (Job 5588): step 016000+ / 20000 (80%+), loss 0.018, ~12s/step. 4-task mid-eval @ ckpt-015500 = 0/32 (0%) — in-loop eval 의미 없음 (학습 분포 mismatch).
  • Pi0.5 B0 (Job 5889): PENDING 상태. HF token 이슈 해결됨.
Pi0.5 ref 트랙 설정 (260508 기준)
  • DAVIAN-Robotics wandb config 기반 새 launch 3종 (launch_pi05_b{0,1,2}_ref.sh): chunk_size=50, n_action_steps=25, proprio=on, eff batch 64, lr=1e-4 cosine → 2.5e-6.
  • In-loop eval off, 대신 run_pi05_eval_watch_chain.sh ckpt 폴링 + 24-task PoC eval watcher (B0_ref/B2_ref).
  • 기존 B0·B1·B2 트랙은 baseline 유지 (output_dir 분리).
오늘 할 일
  • 260508 handoff 대로 robocasa_heldout_real state 재추출 착수 여부 결정
  • Pi0.5 ref 트랙 200-step smoke → sbm "bash scripts/launch_pi05_b0_ref.sh" 본 학습 제출
  • B1 job 5588 완료 시 eval watcher (run_pi05_eval_watch_chain.sh) 백그라운드 기동
⚠ CRITICAL: Pi0.5 B0/B2 ckpt 전부 소실 + state schema fraud 이중 블로커. 재추출 → 재학습 → eval 순서 없이 DreamGen 핵심 지표(B0 baseline SR vs B2 mix SR) 비교 불가.
EgoX_wan2.2 Medium
지난 3일
  • 신규 문서·커밋 없음.
  • Job 37398: PHASE=2, final_train_81.sh, 8 GPU, 2일+ 진행 중 (RUNNING 추정).
  • Job 38197: PENDING — Resources (GPU 부족, 대기 중).
오늘 할 일
  • sjob 37398으로 Phase 2 학습 상태 확인 (loss, GPU util)
  • 완료 시: loss curve 확인 + validation 이미지 정성 평가
  • Phase 2 expert swap (phase1_lora_path) 정상 동작 검증
  • 81f 하이퍼파라미터 (LR, rank) 조정 필요 여부 판단
Phase 2 81f 학습 2일+ 진행 — 완료 시 EgoX_wan2.2 첫 81f eval 예정. Job 38197은 37398 완료 후 자동 개시.
VGGRPO Medium
지난 3일
  • Job 11869: train_lgm_robocasa_da3_v0.sh, 4 GPU, 2h36m COMPLETED (2026-06-12 20:28 ~ 23:04). DA3 v2 paper-aligned loss (L_D + L_M + L_P + L_C + L_grad).
  • DA3 v1 baseline (job 2903): step ~1948 진행 중 (v1 loss).
  • DA3 v2 (job 3219): 진행 중 — step 확인 필요.
  • Phase 4 RL fine-tuning 6주 마일스톤 계획 완료 (260510). Base: Cosmos-Predict2-2B robocasa-MG30 iter 73.2K 확보.
  • DA3 보조: LGM 제거, 직접 DA3 backbone에 decoded RGB 3-cam 입력으로 reward path 단순화.
오늘 할 일
  • sjob 3219으로 DA3 v2 step 확인
  • 1500/3000/5000 step 시점 v1 vs v2 ablation 비교 준비
  • Phase 4 Sub-plan #1 Task 1 (FF submodule) 구현 착수 여부 결정
Job 11869 (DA3 v2 학습 run) COMPLETED. RoboCasa 3-cam GT 트랙 계속 진행 중. Phase 4 착수 가능 상태 (base ckpt 확보).
EgoX_wan2.2_long Low
지난 3일

No activity. 구현 미착수.

현황 / 다음
  • 상세 구현 계획 완료: plan.md + plan_long_inference.md
  • 구현 대상 3파일: args.py (num_condition_latent_frames), sft_trainer.py (condition frame clean latent + loss masking), infer_long.py (GGA + chunk scheduling)
  • 선행 조건: EgoX_wan2.2 81f Phase 2 완료 및 validation 통과
  • 추론: stride=28, overlap=21, chunk 스케줄링
Graph_VLM Low
지난 3일

No activity.

현황 (4/20 기준)
  • Query plan 3-bug fix + hard 벤치마크 3종 구축 완료
  • 현재 best: L34hard10에서 Graph V3 40% (Describe 70%, Frame-300 60%)
  • hardfilt10 clean 5개에서 Graph 40% vs Describe 20% (+20%p 우위)
  • 다음 Tier 2: visual position attribute, occurrence count, container edges, action chain tracking
EgoX2 Low
지난 3일

No activity. context.md 없음.

현황
  • 실험 디렉토리만 존재: EgoX2_exp1, EgoX2_exp2, exp3, rgb
  • claude/ 없음 — 문서화·계획 미착수
  • EgoX_wan2.2 / VGGRPO 우선 안정화 후 착수 예정
SLURM 작업 내역 (2026-06-12 ~ 2026-06-14)
Job ID 프로젝트 실행 명령 GPU 상태 실행 시간 시작 시각
11869 VGGRPO train_lgm_robocasa_da3_v0.sh 4 COMPLETED 2:35:58 06-12 20:28
14842 X-WAM EVALS=100 eval_robocasa.sh 8 COMPLETED 1:27:50 06-12 11:49
14840 Cosmos run_fd_av.sh 1 COMPLETED 0:11:19 06-12 11:46
14844 Cosmos run_fd_av.sh (py3.11) 1 COMPLETED 0:01:25 06-12 11:59
14858 Cosmos run_policy_server_probe.sh 1 COMPLETED 0:04:53 06-12 13:29
14859 Cosmos run_policy_server_probe.sh (run2) 1 COMPLETED 0:02:04 06-12 13:38
14870 Cosmos bench_policy_latency.sh 1 COMPLETED 0:04:14 06-12 14:01
14929 Cosmos EAGER=1 bench_policy_latency.sh 1 COMPLETED 0:05:05 06-12 17:23
14931 DreamZero bench_dreamzero_latency.py 1 COMPLETED 0:08:12 06-12 18:06
14948 DreamZero bench_dreamzero_latency.py (run2) 1 COMPLETED 0:06:44 06-12 18:16
14949 DreamZero BENCH_COMPILE=1 bench_dreamzero_latency.py 1 COMPLETED 0:13:32 06-12 18:37
* Cosmos·DreamZero·X-WAM은 대상 6개 프로젝트 외 관련 Robotics 실험 (WorkDir 기반). 현재 실행 중인 작업 없음. Cosmos는 Cosmos-Predict2 policy latency·FD-AV 벤치마킹, DreamZero는 normal / re-run / torch.compile 3종 latency 비교.