Daily Progress — 2026-07-22

오늘의 우선순위

VGGRPO — LGM Cosmos-norm a5 학습 체인지켜보기 — train_lgm_robocasa_vggt_v0.sh(STITCH_TYPE=dino, LOSS_TAG=a5, w_depth=5.0)가 지난 9시간 동안 PREEMPTED 3연속(50443 2:25 / 50717 3:18 / 51181 2:43, 총 ~34 GPU-h)되었고 후속 잡 51312는 현재 PENDING(AssocGrpGRES — GPU quota 대기). `own` 4-GPU 쿼터로 전환하거나 preempt 주기를 감안한 짧은 체크포인트 간격 확인 필요.
VGGRPO — context.md 최신화문서 확인 필요 — context.md(07-09 작성)는 Active Experiments로 job 37233(dino4)/37399(agg2)를 기록 중이나, 실제 진행 중인 잡은 전혀 다른 설정(LOSS_TAG=a5, w_cam/w_depth 재조정)이다. 13일간 문서 갱신 없이 실험 설정만 바뀐 상태 — 다음 세션에서 현재 a5 실험의 배경/가설을 context.md에 기록할 것.
DreamData / EgoX2 / EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM무활동 — 5개 프로젝트 전부 어제 git 커밋·claude 문서·SLURM 작업 모두 0건. 짧게는 20여 일(EgoX_wan2.2_long, DreamData), 길게는 3개월 이상(Graph_VLM, EgoX_wan2.2) 방치 상태 지속 — 재개 여부 판단 필요.

TL;DR

요청된 6개 프로젝트 중 어제 git 커밋은 0건, claude/*.md 문서 변경도 0건 — 로컬 코드/문서 작업은 사실상 없었음.
유일한 신호는 VGGRPO의 SLURM 잡: 동일 학습(a5 loss config, cosmos+dino stitch, 4 GPU)이 own/extra QOS 경계에서 3회 연속 PREEMPTED → 재제출 → 현재 PENDING. 학습 자체는 살아있지만 완주 못 하고 있는 상태.
sacct 전체를 보면 사용자의 실제 GPU 작업 시간은 FastWAM / Robotics/cosmos / dreamzero / X-WAM / ABot-Manipulation 등 이번 리포트 범위 밖 프로젝트에 집중되어 있음(완료 잡 다수, RUNNING 1건). 요청 6개 프로젝트는 상대적으로 휴면 상태.
5개 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM)의 context.md는 모두 최소 20일~3개월 이상 미갱신 — 실제로 중단된 것인지, 단순 보고 누락인지 확인이 필요한 시점.

프로젝트별 진행 상황

VGGRPO Medium

4D geometry reward(VGGT-Ω 기반 LGM)로 video diffusion 생성물의 3D consistency를 GRPO fine-tuning으로 강화. Phase 2(LGM 구축) 마무리 단계, Cosmos-Predict2 tokenizer + latent normalization 트랙 진행 중.

0Commits

4SLURM Jobs

~34hGPU Time (preempted)

0Work Docs

어제 한 일

코드 커밋·문서 작성 없음. 학습 잡만 preempt-재제출 사이클로 계속 진행.

50443 → 50717 → 51181 → 51312 Cosmos-norm LGM 학습 (STITCH=dino, LOSS_TAG=a5) 4 GPU, qos=extra

동일 학습(NUM_FRAMES=8 VAE_TYPE=cosmos STITCH_TYPE=dino LOSS_TAG=a5, w_cam=1.0 w_depth=5.0 grad_scales=1 alpha_conf=0.0 gamma_conf=1.0 view_weights_depth=1,1,2.5)가 checkpoint에서 auto-resume하며 3회 연속 preempt됨: 50443(19:25 시작, 2:25:06 만에 preempt) → 50717(21:58 시작, 3:18:31) → 51181(01:20 시작, 2:43:10, 04:04에 preempt) → 51312(재제출, 현재 PENDING). extra QOS라 다른 사용자의 own 잡에 매번 밀려나는 패턴 — context.md의 dino4/agg2(37233/37399, 07-09 완주분)와는 다른 loss config(a5)로, 실험이 문서화 없이 이어지고 있음.

해석: 3회 연속 2~3시간 만에 preempt되는 패턴은 우연이 아니라 extra QOS의 구조적 특성(다른 유저의 own 잡이 도착하면 즉시 밀림) — 체크포인트 간격이 preempt 주기(2~3h)보다 촘촘한지 확인 없이는 학습 진행률(step)이 실제로 얼마나 쌓이고 있는지 불확실.

SLURM (VGGRPO)

PREEMPTED × 3 PENDING × 1

오늘 할 일

51312 PENDING 해소 확인 — GPU quota 여유 생기는 대로 재개, 필요 시 own QOS로 전환해 preempt 리스크 제거.
a5 loss config(w_depth=5.0, view_weights_depth=1,1,2.5) 도입 배경과 dino4/agg2 대비 목적을 context.md에 기록.
preempt 사이클 동안 실제 step 진행률 확인 — checkpoint interval이 ~2.5h preempt 주기보다 촘촘한지 점검.
Cosmos-norm 4-way 비교(Wan × Cosmos-nonorm-fp16 × Cosmos-norm-fp32) 마무리 — 지난 완주분(dino4/agg2)과 현재 a5 실험 결과 취합.

무활동 프로젝트

DreamData마지막 커밋 05-08 · 문서 06-12

Pi0.5 ref 트랙 셋업 완료 후 실행 대기 상태로 정체(~2.5개월). GR00T-Dreams(outputs 전용 디렉토리)도 활동 없음.

EgoX2마지막 활동 05-19

git repo 아님, claude/ 디렉토리 없음(구조적 이슈, 신규 아님). 4개 서브디렉토리(exp1/exp2/exp3/rgb) 전부 무활동.

EgoX_wan2.2마지막 커밋 04-08 · 문서 04-09

~3.5개월 무활동. context.md의 "Active Experiments"(37398/38197)는 이미 stale — 실제 최근 SLURM 활동 없음.

EgoX_wan2.2_long마지막 커밋 03-10 · 문서 06-24

phase1 step6000/100k에서 preempt된 채 재개 대기 중. step6000 LoRA에서 auto-resume 가능하나 미실행.

Graph_VLM마지막 커밋 04-01 · 문서 04-20

~3.5개월 무활동. Tier 2(그래프 빌드 개선: visual position/occurrence count/container edges) 착수 전 상태로 정지.

SLURM 요약

※ 나머지 5개 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM)의 WorkDir로는 지난 24시간 내 sacct 기록 없음.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
50443	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5)	4	PREEMPTED	02:25:06	n55
50717	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	03:18:31	n31
51181	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	02:43:10	n30
51312	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PENDING (AssocGrpGRES)	-	-