Daily Progress — 2026-07-23

오늘의 우선순위

VGGRPO — LGM Cosmos-norm a5 학습 체인, 4번째 시도 RUNNING진행 중 — 동일 학습(train_lgm_robocasa_vggt_v0.sh, STITCH_TYPE=dino, LOSS_TAG=a5, w_depth=5.0)이 어제 리포트 이후 2회 더 PREEMPTED(52936 19분, 52983 5:54)되고 현재 4번째 재제출(53369)이 RUNNING — 04:27 시작, 4시간 34분+ 경과. 24시간 내 3회 연속 preempt 누적 wall ~16h44m(4 GPU 환산 ~67 GPU-h). 여전히 완주 못 함 — 체크포인트 간격이 preempt 주기(20분~6시간, 변동 큼)보다 촘촘한지 재확인 필요.
VGGRPO — context.md 미갱신 2일째문서 부채 — context.md(07-09 작성)는 여전히 job 37233/37399(dino4·agg2, 완주분)만 기록. 실제 진행 중인 a5 loss config(w_cam=1.0, w_depth=5.0, view_weights_depth=1,1,2.5) 실험은 이틀째 문서화 안 됨 — preempt 사이클이 끝나는 대로(완주 또는 중단 판단 시점) 배경/가설 기록 필요.
DreamData / EgoX2 / EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM무활동 지속 — 5개 프로젝트 전부 어제도 git 커밋·claude 문서·SLURM 작업 0건. 최소 29일(EgoX_wan2.2_long)에서 최대 135일(EgoX_wan2.2)째 방치.

TL;DR

요청 6개 프로젝트 중 어제도 git 커밋 0건, claude/*.md 문서 변경 0건 — 유일한 신호는 VGGRPO의 SLURM 잡뿐.
VGGRPO의 동일 a5 loss 학습이 preempt→재제출 사이클을 4번째 반복 중: 51312(10:30, PREEMPTED) → 52936(0:19, PREEMPTED) → 52983(5:54, PREEMPTED) → 53369(RUNNING, 4:34+). 24시간 누적 GPU-time은 preempted 구간만 ~67 GPU-h, 아직 완주 못함.
5개 프로젝트 완전 무활동 지속: DreamData(문서 41일), EgoX2(65일, 구조상 git repo 아님), EgoX_wan2.2(105일), EgoX_wan2.2_long(29일), Graph_VLM(94일).
VGGRPO context.md는 어제에 이어 이틀째 실제 실험(a5 config)을 반영하지 못한 상태 — 학습이 안정화되면 문서 갱신 우선.

프로젝트별 진행 상황

VGGRPO Medium

4D geometry reward(VGGT-Ω 기반 LGM)로 video diffusion 생성물의 3D consistency를 GRPO fine-tuning으로 강화. Phase 2(LGM 구축) 마무리 단계, Cosmos-Predict2 tokenizer + latent normalization 트랙 진행 중.

0Commits

4SLURM Jobs

~85hGPU Time (누적, preempted+running)

0Work Docs

어제 한 일

코드 커밋·문서 작성 없음. 어제 리포트에서 PENDING이었던 51312가 시작→preempt되고, 이후 2번 더 재제출-preempt를 반복한 뒤 현재 4번째 시도가 RUNNING.

51312 → 52936 → 52983 → 53369 Cosmos-norm LGM 학습 (STITCH=dino, LOSS_TAG=a5) — preempt-resubmit 체인 지속 4 GPU, qos=extra

동일 학습(NUM_FRAMES=8 VAE_TYPE=cosmos STITCH_TYPE=dino LOSS_TAG=a5, w_cam=1.0 w_depth=5.0 grad_scales=1 alpha_conf=0.0 gamma_conf=1.0 view_weights_depth=1,1,2.5)가 checkpoint auto-resume로 이어짐: 51312(07-22 09:28 시작 → 19:59 PREEMPTED, 10:30:31 경과) → 52936(20:02 시작 → 20:21 PREEMPTED, 단 19:30만에 밀림) → 52983(20:39 시작 → 07-23 02:33 PREEMPTED, 5:54:26 경과) → 53369(약 1:54 PENDING 간격 후 04:27 시작, 현재 RUNNING 4:34:07+, node n8). extra QOS 특성상 다른 사용자 own 잡 도착마다 밀리는 패턴이 계속됨 — 특히 52936은 20분도 못 버티고 밀려 체크포인트 손실 우려.

해석: preempt 간격이 20분~10시간으로 매우 불규칙 — 20분짜리 52936 구간은 체크포인트 간격보다 짧았을 가능성이 높아 해당 구간 진행분이 손실됐을 수 있음. 실제 step 진행률(대 checkpoint 파일 mtime)을 확인해야 학습이 실질적으로 얼마나 나아갔는지 판단 가능.

SLURM (VGGRPO)

PREEMPTED × 3 RUNNING × 1

오늘 할 일

53369 RUNNING 지속 관찰 — 완주(또는 다음 preempt) 여부 확인, sjob 53369로 step 진행률 점검.
52936의 19분 preempt 구간에서 체크포인트가 실제로 저장됐는지 확인 — 손실 구간이면 own QOS 전환 검토.
a5 loss config(w_depth=5.0, view_weights_depth=1,1,2.5) 도입 배경과 목적을 context.md에 기록 (2일째 미반영).
Cosmos-norm 4-way 비교(Wan × Cosmos-nonorm-fp16 × Cosmos-norm-fp32) 마무리 — a5 실험 완주 후 취합.

무활동 프로젝트

DreamData마지막 커밋 05-08 · 문서 06-12

Pi0.5 ref 트랙 셋업 완료 후 실행 대기 상태로 정체(~2.5개월). GR00T-Dreams(outputs 전용 디렉토리)도 활동 없음.

EgoX2마지막 활동 05-19

git repo 아님, claude/ 디렉토리 없음(구조적 이슈, 신규 아님). 4개 서브디렉토리(exp1/exp2/exp3/rgb) 전부 무활동.

EgoX_wan2.2마지막 커밋 04-08 · 문서 04-09

~3.5개월 무활동. context.md의 "Active Experiments"(37398/38197)는 이미 stale — 실제 최근 SLURM 활동 없음.

EgoX_wan2.2_long마지막 커밋 03-10 · 문서 06-24

phase1 step6000/100k에서 preempt된 채 재개 대기 중. step6000 LoRA에서 auto-resume 가능하나 미실행.

Graph_VLM마지막 커밋 04-01 · 문서 04-20

~3개월 무활동. Tier 2(그래프 빌드 개선: visual position/occurrence count/container edges) 착수 전 상태로 정지.

SLURM 요약

※ 나머지 5개 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM)의 WorkDir로는 지난 24시간 내 sacct 기록 없음. 사용자의 다른 SLURM 활동(Robotics/cosmos, dreamzero, X-WAM, MetaView 등)은 이번 6개 프로젝트 범위 밖이라 제외.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
51312	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	10:30:31	n24
52936	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	00:19:30	n15
52983	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	05:54:26	n31
53369	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	RUNNING	04:34:07+	n8