Daily Progress

오늘의 우선순위

VGGRPO / LGM (Phase 2)확인 필요 — Cosmos-norm 4-way ablation 잡 2개(37233 dino4, 37399 agg2)가 어제 저녁 COMPLETED. context.md(22:02 작성)는 여전히 "진행 중, ~2일 후 완주"로 기록되어 있어 최신 상태와 어긋남. step 도달치·최종 loss/depth reg 수치 확인 후 Wan / Cosmos-nonorm-fp16 / Cosmos-norm-fp32 4-way 비교표 마감. 재학습 필요 시 sbmr로 재개.
VGGRPO-rl-phase2 (Phase 4/RL)블로커 — 24-task GRPO reward saturation 결론 확정(reward_std 평균 0.0019, 35 epoch 중 1개만 0.005 초과). 현재 RUNNING 잡 없음. (a) 실제 다중 프롬프트 RoboCasa 데이터셋 학습 vs (b) rank-based/sharper reward 중 다음 lever 결정이 유일한 블로커 — 결정 전까지 실험 재개 불가.
DreamData / EgoX2 / EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM무활동 장기화 — 5개 프로젝트 전부 어제 무활동. Graph_VLM(04-01 이후 커밋 0, ~3개월), EgoX_wan2.2(04-08 이후 정체, ~3개월), DreamData(05-08 이후 정체), EgoX2(05-19 이후 정체), EgoX_wan2.2_long(04-09 학습 preempt 후 재개 대기, ~3개월 방치). 재우선순위화 또는 재개 여부 판단 필요.

TL;DR

어제 활동은 사실상 VGGRPO 단일 프로젝트에 집중 — 12 commits, SLURM 10 jobs, GPU ~54h, 나머지 5개 프로젝트는 전부 무활동.
LGM 트랙: Cosmos latent normalization 적용한 fp32-depth ablation 2개 잡(dino4/agg2) 완료, 4-way 최종 비교 임박. 세션 중 버그 7건 발견/수정(--vae_type 미전달로 Cosmos 대신 Wan이 학습되던 문제 포함), 체크포인트 2.5TB → 110GB로 정리.
RL 트랙: 하루 종일 GRPO 파이프라인 신규 구축·디버깅(12 commits) → "reward saturation"이라는 명확한 negative result로 마무리. 파이프라인 자체는 end-to-end 검증 완료, 남은 문제는 엔지니어링이 아니라 regime/reward 설계 판단.
나머지 5개 프로젝트(DreamData 그룹, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM)는 짧게는 1개월, 길게는 3개월 이상 무활동 상태 — 방치 리스트로 별도 관리 필요.

프로젝트별 진행 상황

VGGRPO High

4D Latent Reward Policy Optimization — LGM(geometry reward module) 구축 + GRPO RL fine-tuning. 두 개의 병렬 트랙(worktree)에서 동시 진행: 메인 리포(LGM/Phase 2)와 VGGRPO-rl-phase2(RL/Phase 4).

12Commits (RL)

10SLURM Jobs

~54hGPU Time

2Work Docs

어제 한 일

▸ LGM 트랙 (메인 리포, Phase 2)

코드 커밋 없음 — 학습 잡 2개 완주 + 핸드오프 문서 1건.

37233 / 37399 Cosmos-norm fp32-depth ablation (dino4 / agg2) 4 GPU × 2, own qos

37233(dino4)는 4:58:08 만에, 37399(agg2, 37234의 IndexError 패치 후 resume)는 2:57:41 만에 COMPLETED. Cosmos latent 채널별 std 극단 불균일(채널10=60.7 vs 나머지 1.7~12.6) 문제를 Welford 통계 기반 normalize로 해결하고 fp32 depth로 재전처리한 뒤 재학습. 완주된 이전 fp16 결과 대비 비교 대상: Wan agg2/dino4 loss 1.70/1.03(depth reg 12.9cm/9.3cm), Cosmos-nonorm agg2/dino4 loss ~1.75/0.92 — 현재 Wan dino4가 전 지표 1위.
progress cosmos_norm_ablation_handoff 260709

세션 핸드오프 문서. 이번 세션에서 발견/수정한 버그 7건: exp-dir 충돌(launcher grep에 ${VAE_TYPE} 누락), --vae_type이 python에 전달 안 돼 실제로는 Cosmos 대신 Wan이 학습되고 있던 문제, fp16 depth quantization(z-buffer 0.99 근처 ~0.4m 계단현상 → fp32 재전처리로 해결), num_samples overreport로 인한 IndexError(clamp로 임시 방어), 강제 최종 체크포인트 저장 누락, 체크포인트 미정리로 2.5TB 적체(자동 pruning으로 110GB까지 정리).

▸ RL 트랙 (VGGRPO-rl-phase2, Phase 4)

12 commits — GRPO 학습 파이프라인을 하루 만에 신규 구축하고 첫 negative result까지 확정.

46e2869Phase C — GRPO loop wiring + 1-step smoke (block_wise SAC, 14B on 1 GPU)04:29
19e6fdcGRPO training driver + launcher (single-GPU block_wise)06:06
71b9276fix: trajectory index alignment for num_sde_steps < num_steps06:17
d9bfe03docs: record active GRPO run (job 37375) + epoch0 baseline06:29
819f961feat: decouple full-SDE rollout diversity from train-step subsample07:09
b55baf8docs: 첫 GRPO negative result — reward saturation (다양성 문제 아님)07:22
bc6a1a0docs: reward deterministic (std 0) + converged ckpt만 존재 → regime pivot07:24
b66765ffeat: robocasa dataset (24 tasks) + multi-prompt GRPO driver07:50
016f3cddocs: regime = robocasa 24-task dataset; active run v2 (job 37406)07:50
054305ffix: round-robin interleave manifest by task for the survey09:25
aae4881docs: GRPO 파이프라인 how-it-works 상세 레퍼런스 (252줄)13:12
ce22b7ddocs: 24-task survey definitive — 전 task에 걸친 broad saturation13:58

analysis-grpo_reward_saturation.md — v0(37375, sde_steps=4/noise=0.7): reward 5 epoch 동안 [0.9723, 0.9741]로 고정, grad_norm은 0으로 수렴. v1(37389, full-SDE 16 steps/noise=1.0, 4× 확률성 증가): group reward_std 0.0013→0.0016로 거의 무변화 — 다양성 lever는 무효. Determinism probe(3회 반복, std=0.00e+00)로 reward 자체가 결정론적임을 확인 → 진짜 reward saturation(플러밍 버그 아님). 원인: 수렴된 14B base model은 SDE noise와 무관하게 이미 일관된 geometry를 생성 → GRPO advantage에 증폭할 신호 자체가 없음. 최종 24-task 서베이(37509, 35 epoch round-robin)에서도 동일 — reward_std 평균 0.0019, 최대 0.0078, 35개 중 1개만 0.005 초과(비재현). PnP/Turn 등 24개 전 task가 균일하게 reward ~0.96, rstd ~0.002.

해석: SLURM 잡 37369→37375→37389→37406→37509는 크래시가 아니라 의도된 진단 실험 — 각 가설(다양성 lever, regime saturation)의 답이 epoch 0~N 안에 나오면 즉시 kill하고 다음 실험으로 전환한 패턴. 커밋 12개의 타임라인과 정확히 일치.

SLURM (VGGRPO)

COMPLETED × 5 CANCELLED × 5

오늘 할 일

LGM: Cosmos-norm 학습 완주 여부·최종 수치 확인 → Wan/Cosmos-nonorm/Cosmos-norm 4-way 비교 마감. Wan도 fp32 depth로 재학습할지 결정.
LGM: fp32 재전처리 부작용(num_samples overreport)이 dataset loader clamp로만 임시 방어된 상태 — preprocess 단계 근본 수정 필요.
LGM: register attention block {2,6,9,14,20} 위치와 실제 loss 기여 관계 미분석 — VGGT-Ω "Omega" trick의 학습 dynamics 확인.
RL: regime 결정 — (a) 실제 다중 프롬프트 RoboCasa 데이터셋 학습(가장 원칙적) vs (b) rank-based/sharper reward. 결정 전까지 신규 GRPO 실험 보류.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
37231	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino)	4	CANCELLED	00:00:05	n10
37232	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=aggregator)	4	CANCELLED	00:00:00	-
37233	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, cosmos)	4	COMPLETED	04:58:08	n11
37234	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=aggregator, cosmos)	4	COMPLETED	04:00:42	n12
37399	VGGRPO	train_lgm_robocasa_vggt_v0.sh (agg2 resumed, IndexError fix)	4	COMPLETED	02:57:41	n27
37369	VGGRPO-rl-phase2	cosmos_ff/train_grpo.sh (smoke)	1	COMPLETED	00:07:45	n45
37375	VGGRPO-rl-phase2	cosmos_ff/train_grpo.sh (v0, sde=4/noise=0.7)	1	CANCELLED (user)	00:48:20	n73
37389	VGGRPO-rl-phase2	cosmos_ff/train_grpo.sh (v1, full-SDE/noise=1.0)	1	CANCELLED (user)	00:10:50	n84
37406	VGGRPO-rl-phase2	cosmos_ff/train_grpo.sh (v2, regime pivot)	1	CANCELLED (user)	01:30:18	n87
37509	VGGRPO-rl-phase2	cosmos_ff/train_grpo.sh (24-task survey, 35 epoch)	1	CANCELLED (user)	03:46:44	n86