Daily Progress — 2026-07-24

오늘의 우선순위

VGGRPO — 54071 RUNNING, 11h28m+ 무중단 지속 (오늘 체인 중 최장 안정 구간)진행 중 — train_lgm_robocasa_vggt_v0.sh(STITCH=dino, LOSS_TAG=a5, w_depth=5.0) 21:33 시작, node n36, GPU 4장 util 96~99% / mem 97GB·178GB, sjob 진단 이상 없음. exp dir lgm_robocasa_vggt_v0_cosmos_dino4_a5_0721_1025 기준 step ~39200까지 진행, per-step loss 0.3~1.1 사이 변동(수렴 추세는 이 스냅샷만으로 판단 불가). 이전 3개 attempt(12분~12시간)보다 훨씬 안정적으로 오래 버티는 중 — preempt 여부 계속 관찰.
VGGRPO — 어제 preempt-resubmit 3회 추가 반복(53369→53795→54025)이력 — 동일 a5 학습이 04:27(53369, 12:15:00 후 PREEMPTED) → 16:44(53795, 2:38:30 후 PREEMPTED) → 20:17(54025, **단 12분 34초 만에 PREEMPTED**) → 21:33(54071, 현재 RUNNING) 순으로 이어짐. 54025의 12분 구간은 체크포인트 저장 간격보다 짧았을 가능성이 있어 해당 구간 진행분 손실 여부 확인 필요.
VGGRPO — context.md 3일째 미갱신문서 부채 — context.md(07-09 작성)는 여전히 job 37233/37399(dino4·agg2, 완주분)만 기록. 실제 진행 중인 a5 loss config(w_cam=1.0, w_depth=5.0, view_weights_depth=1,1,2.5) 실험은 3일째 문서화 안 됨.
DreamData / EgoX2 / EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM무활동 지속 — 5개 프로젝트 전부 어제도 git 커밋·claude 문서·SLURM 작업 0건. 최소 30일(EgoX_wan2.2_long 문서)에서 최대 136일(EgoX_wan2.2_long 커밋)째 방치.

TL;DR

요청 6개 프로젝트 중 어제도 git 커밋 0건, claude/*.md 문서 변경 0건 — 유일한 신호는 VGGRPO의 SLURM 잡뿐.
VGGRPO a5 학습이 어제 3번째 preempt-resubmit 사이클을 거침: 53369(12:15:00, PREEMPTED) → 53795(2:38:30, PREEMPTED) → 54025(0:12:34, PREEMPTED) → 54071(RUNNING, 11h28m+). step ~39200, loss 0.3~1.1 변동, GPU util 96~99%로 오늘 attempt는 지금까지 가장 안정적.
exp dir 타임스탬프(_0721_1025) 기준 이 a5 학습은 시작한 지 사흘째 — cluster extra QOS 특성상 own 잡 도착마다 계속 밀리는 패턴.
5개 프로젝트 완전 무활동 지속: DreamData(문서 42일), EgoX2(66일, 구조상 git repo 아님), EgoX_wan2.2(106일), EgoX_wan2.2_long(30일, 커밋 기준 136일), Graph_VLM(95일).
VGGRPO context.md는 07-09 이후 미갱신 — 3일 연속 실제 실험(a5 config) 미반영.

프로젝트별 진행 상황

VGGRPO Medium

4D geometry reward(VGGT-Ω 기반 LGM)로 video diffusion 생성물의 3D consistency를 GRPO fine-tuning으로 강화. Phase 2(LGM 구축) 마무리 단계, Cosmos-Predict2 tokenizer + latent normalization 트랙 진행 중.

0Commits

4SLURM Jobs

~106hGPU Time (4 GPU × 누적 wall ~26.5h)

0Work Docs

어제 한 일

코드 커밋·문서 작성 없음. 동일 a5 학습이 preempt→auto-resume 체인으로 3번 더 순환한 뒤, 현재(54071) 오늘 attempt 중 가장 오래 버티는 중.

53369 → 53795 → 54025 → 54071 Cosmos-norm LGM 학습 (STITCH=dino, LOSS_TAG=a5) — preempt-resubmit 체인 지속, 현재 RUNNING 4 GPU, qos=extra

동일 학습(NUM_FRAMES=8 VAE_TYPE=cosmos STITCH_TYPE=dino LOSS_TAG=a5, w_cam=1.0 w_depth=5.0 grad_scales=1 alpha_conf=0.0 gamma_conf=1.0 view_weights_depth=1,1,2.5)가 checkpoint auto-resume로 계속 이어짐: 53369(04:27 시작 → 16:42 PREEMPTED, 12:15:00 경과, node n8) → 53795(16:44 시작 → 19:23 PREEMPTED, 2:38:30 경과, node n28) → 54025(20:17 시작 → 20:30 PREEMPTED, 단 12:34만에 밀림, node n27) → 54071(약 1시간 PENDING 간격 후 21:33 시작, 현재 RUNNING 11:28:41+, node n36). sjob 기준 GPU 4장 모두 util 96~99%, mem 97/178GB, throttle 0%, 진단 경고 없음. 로그 tail(step 38250~39200) 기준 per-step loss는 0.3~1.1 범위에서 진동 — 수렴 여부는 더 긴 구간 확인 필요.

해석: 54025의 12분 34초 구간은 이전 preempt 간격(2:38~12:15)보다 훨씬 짧아 체크포인트 저장 주기보다 짧았을 가능성 — 해당 구간 진행분이 유실됐을 수 있음. 반면 현재 54071은 11시간 넘게 안정적으로 지속 중이라 체인 전체로 보면 오늘이 가장 순항 중인 attempt.

SLURM (VGGRPO)

PREEMPTED × 3 RUNNING × 1

오늘 할 일

54071 RUNNING 지속 관찰 — 완주(또는 다음 preempt) 여부 확인, step 진행률 로그 tail로 점검.
54025의 12분 34초 preempt 구간에서 체크포인트가 실제로 저장됐는지 확인 — 손실 구간이면 own QOS 전환 검토.
a5 loss config(w_depth=5.0, view_weights_depth=1,1,2.5) 도입 배경과 목적을 context.md에 기록 (3일째 미반영).
Cosmos-norm 4-way 비교(Wan × Cosmos-nonorm-fp16 × Cosmos-norm-fp32) 마무리 — a5 실험 완주 후 취합.

무활동 프로젝트

DreamData마지막 커밋 05-08(77일) · 문서 06-12(42일)

Pi0.5 ref 트랙 셋업 완료 후 실행 대기 상태로 정체(~2.5개월). GR00T-Dreams(outputs 전용 디렉토리)도 활동 없음.

EgoX2마지막 활동 05-19(66일)

git repo 아님, claude/ 디렉토리 없음(구조적 이슈, 신규 아님). 4개 서브디렉토리(exp1/exp2/exp3/rgb) 전부 무활동.

EgoX_wan2.2마지막 커밋 04-08(107일) · 문서 04-09(106일)

~3.5개월 무활동. context.md의 "Active Experiments"(37398/38197)는 이미 stale — 실제 최근 SLURM 활동 없음.

EgoX_wan2.2_long마지막 커밋 03-10(136일) · 문서 06-24(30일)

phase1 step6000/100k에서 preempt된 채 재개 대기 중. step6000 LoRA에서 auto-resume 가능하나 미실행.

Graph_VLM마지막 커밋 04-01(114일) · 문서 04-20(95일)

~3개월 무활동. Tier 2(그래프 빌드 개선: visual position/occurrence count/container edges) 착수 전 상태로 정지.

SLURM 요약

※ 나머지 5개 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM)의 WorkDir로는 지난 24시간 내 sacct 기록 없음. 사용자의 다른 SLURM 활동(Robotics/cosmos의 s30_full_0~3 RUNNING 4건, dreamzero 등)은 이번 6개 프로젝트 범위 밖이라 제외.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
53369	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	12:15:00	n8
53795	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	02:38:30	n28
54025	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	00:12:34	n27
54071	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	RUNNING	11:28:41+	n36