Daily Progress — 2026-05-08

⚡ 오늘의 우선순위

RUNNING GR00T-Dreams — job 11380 latentC_n12p_60k (8GPU, ~20h 경과) 수렴 체크. Latent-C n12p 60K 학습 완료 시 heldout eval 즉시 제출
RUNNING VGGRPO — DA3 LGM 훈련 3개 병행 중 (13352 18h+, 15218/15219 8h+). 각 job loss curve 확인 및 v1 vs v2 ablation 비교 준비
PENDING GR00T-Dreams — job 14540/15222 (8GPU × 2개 pending, QOSMax 대기). 11380 완료되면 슬롯 확보 가능
NEXT GR00T-Dreams — Pi0.5 B0 17.2% SR 확인됨. HTML 리포트 생성 + autoregressive P3 데이터 생성 full-scale 착수 (1440 ep × avg 4 iter ≈ 160 GPU-hour)
NEXT VGGRPO — depth_sealed jobs (15215/15216) 완료 후 RoboCasa GT v0 depth 데이터 검증
확인 필요 EgoX_wan2.2 — 컨텍스트의 37398/38197 모두 4월 10일 CANCELLED. 현재 실행 중인 job 없음. Phase 2 학습 재시작 여부 결정 필요

TL;DR — 2026-05-07

🔬 GR00T-Dreams 대규모 eval 완료: Latent-IDM A 4-track (v1/v2/v3/multistream) + Pi0.5 B0/B1 24-task 동시 실행. Latent-A multistream 109.6mm EEF (vs pixel 172mm, 동일 데이터 기준 38% 개선). Pi0.5 B0 Real 17.2% / B1 Synth 4.7% SR — real state 학습의 효과 확인.

🔧 VGGRPO 메이저 커밋: RoboCasa 3-cam GT pipeline + DA3 backbone (paper-aligned loss v2 §3.2 전체 구현). 25-file commit. DA3 LGM 학습 3개 job 현재 RUNNING.

⚠️ EgoX_wan2.2 stale: 컨텍스트에 기록된 job 37398/38197 모두 4월 10일 취소됨. 현재 활성 job 없음. 재시작 결정 필요.

🛑 EgoX_wan2.2_long / Graph_VLM / EgoX2 — 어제 활동 없음.

프로젝트별 현황

DreamData / GR00T-Dreams

Video world model로 로봇 데이터 증강 → VLA few-shot post-training. Latent-IDM + Pi0.5 VLA 학습.

High

109.6 multistream EEF mm

17.2% Pi0.5 B0 SR

−38% vs pixel baseline

9 완료 SLURM jobs

어제 한 일 — 2026-05-07

260507/analysis-eval_all_results.md
Latent-IDM 4-track + Pi0.5 B0/B1 통합 eval 완료.
IDM 결과 (24-ep heldout, 동일 프로토콜): eval_lA_v1: 115.3mm eval_lA_v2: 128.6mm eval_lA_v3: 110.0mm eval_lA_ms: 109.6mm ⭐

핵심 인사이트: (1) multistream이 v3와 0.4mm 차이 — 통계적 우위 없지만 PnP task에서 패턴 우위. (2) Pixel MG-30 172mm vs Latent-A 109.6mm → Cosmos hidden feature가 SigLIP보다 38% 개선 (leakage 없는 동일 데이터). (3) Pixel MG-3000 42.8mm는 leakage 있음 — 보고 시 caveat 필요.

Pi0.5 결과:
B0 Real (017500 ckpt): 33/192 = 17.2% — TurnOnMicrowave 62.5%, TurnSinkSpout 62.5% 최우수
B1 Synth (016000 ckpt): 9/192 = 4.7% — real state 학습이 3.7x 우위
→ B0 vs B1 격차는 (a) state field zero, (b) 16-frame chunk 학습 신호 한계가 dominant. Step 5/6 long-horizon synth 방향 유효.
260507/plan-eval_all_idm_and_pi05.md
보고용 eval 통합 계획 → 전부 실행 완료. 4-track IDM 30분씩 × 4 병렬 + Pi0.5 24-task wrapper 신규 작성 (run_pi05_eval_24tasks.sh) + B0/B1 4h+ eval 순서. 6-panel per-task comparison 영상 24개 생성 (~40 MB).
260506/plan-pi05_eval_fix_and_retrain.md
Pi0.5 eval 0% SR 버그 분석 + 재학습 계획 (6단계). Step 1 B0 real state eval로 root cause 확정. Step 5/6 autoregressive long-horizon 합성 데이터 생성 진행 중 (12735 preempted 반복, N=5 iter 검증 필요). Task별 num_iterations 계산 완료 (CloseDoubleDoor 5, OpenDoubleDoor 8 등 24개).

SLURM 작업 (2026-05-07)

RUNNING 11380 latentC_n12p_60k — 8GPU, 20h+경과 (worker-7)

COMPLETED 12724 eval_lA_v1 (30min) 12725 eval_lA_v2 (31min) 12726 eval_lA_v3 (31min) 12727 eval_lA_ms (30min) 12733 pi05_eval_b0 (4h17m) 12734 pi05_eval_b1 (4h19m) 11346 build_pooled_C (27min) 13344 eval_pixel_mg30 (55min) 13345 eval_pixel_mg3000 (54min)

PREEMPTED 다수 (12735 autoregressive pilot 반복 preempt — sbmr 자동 requeue 중)

PENDING 14540, 15222 (8GPU×2, QOSMaxCpu 대기)

Latent-IDM A 4-track 비교 (24-ep heldout)

트랙	Params	EEF avg (mm)	Gripper acc	비고
Pixel MG-30 (baseline)	315M	172.0	88.97%	SigLIP visual, no leakage
Pixel MG-3000 ⚠️	315M	42.8	97.54%	leakage 있음 — unfair
Latent-A v1 (L27)	315M	115.3	83.51%	latent baseline
Latent-A v2 (action+state)	315M	128.6	83.19%	state supervision 비용 +13mm
Latent-A v3 (multi concat)	315M	110.0	86.14%	{L18, L24, L30} dim-fusion
Latent-A multistream ⭐	401M	109.6	83.72%	per-layer attn, best no-leakage

오늘 할 일

latentC_n12p_60k (11380) 수렴 확인 → 완료 시 heldout eval 제출 (latent-C 첫 결과)
14540/15222 pending 해소 시 autoregressive P3 full-scale (1440 ep, avg 4 iter) 착수
HTML 리포트 생성 → claude_reports/GR00T-Dreams/ 저장 (보고용)
(선택) Pi0.5 B2 mix eval — state_mode real/zero 양쪽 측정

VGGRPO

4D geometry reward로 video diffusion model 3D consistency 강화. DA3 multi-view backbone + RoboCasa GT pipeline.

High

1 Git Commits

25 파일 변경

3 Running Jobs (4GPU×3)

DA3 현재 backbone

Git 커밋

9da4b07 feat: RoboCasa 3-cam pipeline + DA3 backbone with paper-aligned loss 05-07 05:28

25 files changed — scripts/train_lgm_robocasa_da3_v0.py, phase_b_loss_da3_v2.py, lgm_connector_da3.py, viz_robocasa_alignment.py, claude docs 등

주요 변경: DA3-LARGE connector (cross-view attention, pose_enc 노출, stitch layer=6) + Phase-B loss v2 완전 구현 (L_D conf-weighted + L_M + L_P + L_C 9-DoF + L_grad + GT-side scale norm) + RoboCasa 3-cam GT pipeline (preprocess_robocasa_cam.py, robocasa_dataset.py, viz_robocasa_alignment.py). 5-mode viz로 cam convention 검증 완료.

SLURM 작업 (2026-05-07)

RUNNING 13352 taewoongkang/DA3-train (4GPU, 18h+, worker-12) | 15218 taewoongkang/DA3-train (4GPU, 8h+, worker-13) | 15219 taewoongkang/DA3-train (4GPU, 8h+, worker-10)

COMPLETED 12740 taewoongkang (4GPU, 11h10m — DA3 v1 학습 완료)

PREEMPTED 8844, 9295, 9953, 10620, 10626, 10632, 10650, 10656, 11344, 11358, 12062, 12216, 12686, 12688, 12699, 12704, 12708, 12709, 12717, 13329, 13335, 13339, 13351, 11798 (sbmr 자동 requeue 반복)

하루 동안 PREEMPTED → requeue 사이클이 24회 이상 반복. 4GPU extra QOS로 자원 경쟁 중. 11380 GR00T-Dreams job 완료 후 슬롯 여유 생길 가능성.

RUNNING 15215 depth_sealed_CoffeePressButton (robocasa, 1GPU, 8h+) | 15216 depth_sealed_OpenSingleDoor (robocasa, 1GPU, 8h+)

오늘 할 일

DA3 v1 (job 12740 completed, ~1948 step)과 v2 (job 3219+) 학습 loss 비교 — 1500/3000/5000 step ablation 포인트 확인
depth_sealed jobs 완료 시 RoboCasa GT depth 데이터 품질 확인
train_lgm_gt_v0.py 3-cam 일반화 (현재 2-cam 가정 → 3 view 리스트 확장)
DROID v3 pseudo-label 학습 (experiments/lgmv3_*) 진행 상황 체크

EgoX_wan2.2

Wan 2.2 base로 ego+wrist 뷰 동시 생성. 2-Phase LoRA. 81f dataset 학습 중.

Stale

⚠️ 컨텍스트 outdated: context.md에 기록된 job 37398 (Phase 2, 8GPU) / 38197 (PENDING) 모두 2026-04-10에 CANCELLED. 현재 SLURM에 활성 EgoX_wan2.2 job 없음. Phase 2 학습 재시작 여부 확인 필요.

어제

No activity — git commit 없음, claude docs 수정 없음, SLURM job 없음.

오늘 할 일

Phase 2 81f 학습 재시작 결정 (scene_name 파싱 버그 수정 후 재제출 여부)
context.md 갱신 — 현재 상태 반영

비활성 프로젝트

SLURM 요약 — 2026-05-07

Job ID	프로젝트	실행 명령 / JobName	GPU	상태	실행 시간	노드
11380	GR00T-Dreams	latentC_n12p_60k	8	RUNNING	20h+	worker-7
13352	VGGRPO	DA3 LGM train (sbmr)	4	RUNNING	18h+	worker-12
15218	VGGRPO	DA3 LGM train (sbmr)	4	RUNNING	8h28m	worker-13
15219	VGGRPO	DA3 LGM train (sbmr)	4	RUNNING	8h20m	worker-10
15215	robocasa (VGGRPO)	depth_sealed_CoffeePressButton	1	RUNNING	8h48m	worker-2
15216	robocasa (VGGRPO)	depth_sealed_OpenSingleDoor	1	RUNNING	8h48m	worker-2
14540	GR00T-Dreams	taewoongkang (training)	8	PENDING	—	QOSMaxCpu
15222	GR00T-Dreams	taewoongkang (training)	8	PENDING	—	QOSMaxCpu
12724–27	GR00T-Dreams	eval_lA_v1/v2/v3/ms (×4 병렬)	1×4	COMPLETED	~30min	—
12733	GR00T-Dreams	pi05_eval_b0 (B0 Real, 24-task)	1	COMPLETED	4h17m	—
12734	GR00T-Dreams	pi05_eval_b1 (B1 Synth, 24-task)	1	COMPLETED	4h19m	—
11346	GR00T-Dreams	build_pooled_C	2	COMPLETED	26m42s	—
13344–45	GR00T-Dreams	eval_pixel_mg30 / eval_pixel_mg3000	1×2	COMPLETED	~55min	—
12740	VGGRPO	DA3 LGM train (v1 loss, sbmr)	4	COMPLETED	11h10m	—
11341, 9949, ...	VGGRPO	DA3 LGM train (preempted ×24+)	4	PREEMPTED	0–9h	—
11380 (context)	robomme_policy	apimem-BinFill-flashlite-loracoord	2	COMPLETED	4h36m + 2h38m	—