Daily Progress — 2026-07-27

오늘의 우선순위

VGGRPO — a5 loss 학습(Cosmos-norm, STITCH=dino) 50,000/50,000 step 완주완료 — job 55116, 07-25(토) 03:57 완주(elapsed 04:28:36). 3회 추가 preempt(54868/54959/55096) 이후 07-24 23:28 재개해 끝까지 도달. Saved final ckpt: phaseB_50000.pt 확인. 완주 후 07-25 04시부터 지금(월)까지 결과 분석·후속 작업 0건 — 가장 시급한 항목.
VGGRPO — 4-way ablation(Wan × Cosmos-nonorm-fp16 × Cosmos-norm-fp32) 마무리대기 — context.md는 dino4(a5) 완주를 "Cosmos-norm 학습 완주 대기 후 4-way 최종 비교"의 마지막 조각으로 명시. 이제 4개 트랙 모두 완주 데이터가 갖춰졌으므로 비교표 작성이 가능한 상태.
VGGRPO — context.md 3일 연속 미갱신 + job ID stale문서 부채 — "Active Experiments" 섹션이 여전히 job 37233/37399(0709 스냅샷, step 3300~3500)를 기록 중. 실제로는 그 실험이 54071→55116 체인으로 이어져 07-25 완주했는데 전혀 반영 안 됨.
DreamData / EgoX2 / EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM무활동 지속 — 5개 프로젝트 전부 금~일 3일간 git 커밋·claude 문서·SLURM 작업 0건. 최소 33일(EgoX_wan2.2_long 문서)~139일(EgoX_wan2.2_long 커밋)째 방치.

TL;DR

요청 6개 프로젝트 중 금~일 3일간 git 커밋 0건, claude/*.md 문서 변경 0건 — 유일한 신호는 VGGRPO의 SLURM 잡뿐.
VGGRPO a5 config 학습이 이번 기간 3회 추가 preempt(54868: 10분, 54959: 2:49:28, 55096: 23:01) 후 07-24 23:28 재개, 07-25 03:57 50,000 step 완주(job 55116). 최종 loss는 0.26~0.85 사이에서 진동(단일 step 값, 정식 eval 미실시).
완주 이후 07-25 04시~07-27 09시(월요일 현재)까지 추가 활동 전혀 없음 — 결과 분석·문서화·다음 실험 착수가 전부 정체.
이번 체인(54071→55116) 5개 job 누적 elapsed ≈ 26h20m × 4 GPU ≈ 105 GPU-hours.
context.md는 07-09 이후 미갱신 — 이번 완주 사실도, 그 전 preempt 이력도 전혀 반영 안 됨. job ID가 37xxx로 남아 있어 실제(54xxx~55xxx)와 2단계 이상 어긋남.

프로젝트별 진행 상황

VGGRPO Medium

4D geometry reward(VGGT-Ω 기반 LGM)로 video diffusion 생성물의 3D consistency를 GRPO fine-tuning으로 강화. Phase 2(LGM 구축) 마무리 단계, Cosmos-Predict2 tokenizer + latent normalization 트랙 진행 중.

0Commits

5SLURM Jobs

~105hGPU Time (4 GPU × 누적 wall ~26.3h)

0Work Docs

기간 내(금~일) 한 일

코드 커밋·문서 작성 없음. 어제 리포트(0724) 시점 RUNNING이던 54071이 결국 preempt됐고, 이후 3회 더 preempt-resubmit을 거친 뒤 07-24 23:28 시작한 55116이 목표 step까지 도달해 완주했음.

54071 → 54868 → 54959 → 55096 → 55116 Cosmos-norm LGM 학습(STITCH=dino, LOSS_TAG=a5) — preempt-resubmit 체인 끝에 50,000 step 완주 4 GPU, qos=extra

동일 학습(NUM_FRAMES=8 VAE_TYPE=cosmos STITCH_TYPE=dino LOSS_TAG=a5, w_cam=1.0 w_depth=5.0 grad_scales=1 alpha_conf=0.0 gamma_conf=1.0 view_weights_depth=1,1,2.5)가 auto-resume로 계속 이어짐: 54071(0723 21:33 시작, 18:28:02 경과 후 0724 16:01 PREEMPTED) → 54868(17:29 시작, 단 10:31만에 17:39 PREEMPTED) → 54959(17:41 시작, 2:49:28 경과 후 20:30 PREEMPTED) → 55096(20:48 시작, 23:01만에 21:11 PREEMPTED) → 55116(23:28 시작, 4:28:36 경과 후 0725 03:57 COMPLETED). exp dir lgm_robocasa_vggt_v0_cosmos_dino4_a5_0721_1025 로그 tail 확인 결과 step 50000에서 Saved final ckpt: phaseB_50000.pt / Done at step 50000. 출력, 정상 종료. 마지막 구간(47450~49950) per-step loss는 0.26~1.16 사이에서 진동(conf/reg 성분이 대부분, T/R/FL 성분은 낮음) — smoothing 없는 raw step loss라 수렴 여부 판단은 별도 curve 분석 필요.

완주 자체는 성과 — 어제 리포트에서 "12분 34초 preempt 구간 체크포인트 유실 우려"로 지적했던 54025 이후 patch 없이도 auto-resume가 정상 동작해 짧은 preempt(54868의 10분 31초 포함) 구간에서도 데이터 손실 없이 이어붙었음(체크포인트 간격보다 빠르게 죽었어도 이전 ckpt에서 정상 재개).

해석: 완주 후 3일 가까이 후속 조치가 없다 — final ckpt만 남고 24-ep held-out eval, 4-way ablation 비교표, context.md 갱신 중 아무것도 진행 안 됨. 어제 리포트가 지적한 "context.md 3일째 미갱신" 경고가 그대로 5일째로 이어지는 중.

SLURM (VGGRPO)

PREEMPTED × 4 COMPLETED × 1

오늘 할 일

55116 완주분(phaseB_50000.pt)에 대해 24-ep held-out eval 실행 — 이전 트랙들(Wan agg2/dino4, Cosmos-nonorm)과 동일 기준 비교.
4-way ablation(Wan × Cosmos-nonorm-fp16 × Cosmos-norm-fp32) 비교표 작성 — 재료는 모두 갖춰짐.
context.md 갱신 — job 37233/37399(stale) 제거하고 54071~55116 체인 + 완주 결과로 교체.
완주 후 3일 공백 원인 확인 — 다음 실험(Phase 4 RL 착수 or 추가 ablation) 착수 여부 결정.

무활동 프로젝트

DreamData마지막 커밋 05-08(80일) · 문서 06-12(45일)

Pi0.5 ref 트랙 셋업 완료 후 실행 대기 상태로 정체(~2.5개월). GR00T-Dreams(outputs 전용 디렉토리)도 활동 없음.

EgoX2마지막 활동 05-19(69일)

git repo 아님, claude/ 디렉토리 없음(구조적 이슈, 신규 아님). 4개 서브디렉토리(exp1/exp2/exp3/rgb) 전부 무활동.

EgoX_wan2.2마지막 커밋 04-08(110일) · 문서 04-09(109일)

~3.6개월 무활동. context.md의 "Active Experiments"(37398/38197)는 이미 stale — 실제 최근 SLURM 활동 없음.

EgoX_wan2.2_long마지막 커밋 03-10(139일) · 문서 06-24(33일)

phase1 step6000/100k에서 preempt된 채 재개 대기 중. step6000 LoRA에서 auto-resume 가능하나 미실행.

Graph_VLM마지막 커밋 04-01(117일) · 문서 04-20(98일)

~3.3개월 무활동. Tier 2(그래프 빌드 개선: visual position/occurrence count/container edges) 착수 전 상태로 정지.

SLURM 요약

※ 나머지 5개 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM)의 WorkDir로는 이번 3일 내 sacct 기록 없음. 사용자의 다른 SLURM 활동(Robotics/cosmos의 s30_full_0~3, 07-23~07-25에 완주된 4건)은 이번 6개 프로젝트 범위 밖이라 제외. 노드명은 sacct AllocTRES에 미포함되어 일부 "-"로 표시.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
54071	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	18:28:02	n36
54868	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	00:10:31	-
54959	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	02:49:28	-
55096	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume)	4	PREEMPTED	00:23:01	-
55116	VGGRPO	train_lgm_robocasa_vggt_v0.sh (STITCH=dino, LOSS_TAG=a5, resume) — 50,000 step 완주	4	COMPLETED	04:28:36	-