Daily Progress — 2026-07-06

🎯 오늘의 우선순위

01 VGGRPO job 33529(aggregator, extra qos)가 step 35300/50000(70.6%)로 약 14시간 후 완료 예상, job 33528(dino, own qos)는 step 27750/50000(55.5%)로 약 27시간 후 완료 예상. 두 job 모두 GPU util 95~100%로 healthy. 이전에 같은 설정(VAE_TYPE=cosmos)으로 4회 연속 수동 재시작 (33088/33097/33146/33147, 07-03~07-04) 끝에 07-04 22:45부터 안정 RUNNING 중 — 재시작 사유가 claude/ 문서에 기록되지 않음.
02 VGGRPO / DreamData 미커밋 상태가 최종 커밋 이후 약 2개월째 지속·심화 — VGGRPO 32개 파일(수정 10 + 신규 22, 최종 커밋 05-07), DreamData 9개 파일(수정 5 + 신규 4, 최종 커밋 05-08). GR00T-Dreams 260606 디스크 정리 사고로 인한 코드 소실 전례 감안 시, 두 실험이 이번 주 중 완료되는 대로 즉시 커밋 필요.
03 DreamData Cosmos 14B robocasa 본학습(job 31988, 20K iter)이 기간 내(07-03 13:41) 완료, 뒤이어 5분 inference smoke test(job 32952)도 통과. 이후 신규 SLURM 제출·문서화 없음 — 완료된 ckpt에 대한 평가/분석 계획이 아직 없다면 이번 주 착수 필요.
04 VGGRPO VAE_TYPE=cosmos stitch-type(aggregator/dino) 비교 실험의 목적과 이전 DA3/VGGT-Ω 트랙과의 관계가 claude/context.md에 반영되어 있지 않음(마지막 업데이트 260630) — 완료 후 결과 정리 시 관계 명시 필요.
05 EgoX2 / EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM 4개 프로젝트 모두 완전 dormant 지속(변화 없음). Graph_VLM은 최종 활동(260420) 이후 2.5개월+ 정체. 재개/archive 결정 여전히 보류 중.

프로젝트별 현황

VGGRPO

High 2 RUNNING 미커밋 ~2개월

Video diffusion GRPO fine-tune → 4D geometry reward 기반 3D-consistent wrist-view 생성 · EgoW/VGGRPO

🔄 stitch-type × cosmos VAE 재비교 — 4회 재시작 끝에 안정화

07-03 16:33부터 VAE_TYPE=cosmos를 추가한 aggregator/dino stitch-type 비교 학습을 여러 번 제출·직접 취소 (job 33086 완료 → 33088 즉시 취소 → 33097/33146/33147 각각 수 시간~1일 넘게 돌다 본인이 취소)한 끝에, 07-04 22:45부터 job 33528(dino, own)·33529(aggregator, extra) 페어가 preempt 없이 연속 RUNNING 중. 재시작 사유(설정 조정 내용)가 claude/ 문서에 남아있지 않음.

기간 내 작업 — 신규 문서/커밋 없음, SLURM 실험 반복 제출만 존재

git status: 수정 10 + 신규(untracked) 22개 파일 (최종 커밋 2026-05-07)

07-03~07-05 동안 git 커밋·claude/ 문서 신규 작성 없음(마지막 문서는 260630 progress-backbone_rgb_eval.md). claude/context.md, scripts/train_lgm_robocasa_{da3,v0,vggt}*.py/.sh, src/data/robocasa_dataset.py 등 32개 파일이 계속 미커밋 상태로 누적. 이번 기간의 실질 변경은 학습 job의 checkpoint/viz 산출물뿐.

SLURM ↔ 실험 진행

Job ID	실행 명령	상태	GPU	경과	진행률	QOS
31943	STITCH_TYPE=aggregator NF8 MAX_STEPS=50000 train_lgm_robocasa_vggt_v0.sh	COMPLETED	4	1-21:17:55	50000/50000	own
31944	STITCH_TYPE=dino NF8 MAX_STEPS=50000 train_lgm_robocasa_vggt_v0.sh	COMPLETED	4	2-10:46:06	50000/50000	own
33086	STITCH_TYPE=aggregator VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	COMPLETED	4	00:36:32	스모크(단시간 종료)	extra
33088	STITCH_TYPE=dino VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	CANCELLED (본인)	4	00:00:00	즉시 취소	extra
33097	STITCH_TYPE=dino VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	CANCELLED (본인)	4	02:44:09	재시작	own
33146	STITCH_TYPE=dino VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	CANCELLED (본인)	4	1-03:31:10	재시작	own
33147	STITCH_TYPE=aggregator VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	CANCELLED (본인)	4	1-03:30:09	재시작	extra
33528	STITCH_TYPE=dino VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	RUNNING	4	1-10:15+	27750/50000 (55.5%)	own
33529	STITCH_TYPE=aggregator VAE_TYPE=cosmos NF8 train_lgm_robocasa_vggt_v0.sh	RUNNING	4	1-10:15+	35300/50000 (70.6%)	extra

GPU util: 33528(dino) 98~100%, 33529(aggregator) 95~100% — 둘 다 healthy. 평균 속도 기준 dino ~4.4 s/step(ETA ~27.5h), aggregator ~3.5 s/step(ETA ~14.3h). loss는 둘 다 noisy(0.3~2.2 범위 진동), 뚜렷한 하락 추세는 아직 불명확 — 완주 후 평균 loss로 stitch-type 비교 필요.

오늘 할 일

33529(aggregator) 완료(오늘 밤 예상) 후 33528(dino)까지 이어서 모니터링(sjob -w 33528/33529)
이번 VAE_TYPE=cosmos 재비교 실험의 목적과 이전 DA3/VGGT-Ω 트랙과의 관계를 claude/ 문서로 남기기 — 260630 이후 공백
수정 10 + 신규 22개 파일 커밋 — 최종 커밋 2026-05-07, 2개월째 미뤄짐
RoboCasa dataloader 3-cam 일반화, train_lgm_gt_v0.py 3-cam 확장 — 기존 미해결 이슈 지속

DreamData

Medium 2 COMPLETED 미커밋 ~2개월

Action label 없는 비디오로 로봇 학습 — DreamGen 파이프라인 (IDM pseudo-action 역추정 → Cosmos-Predict2 비디오 생성 → policy fine-tune) · Robotics/{DreamData, GR00T-Dreams, dreamzero}

✅ Cosmos 14B robocasa 본학습 완료 + smoke test 통과

job 31988 (Cosmos 14B robocasa full 8gpu, extra qos, max_iter=20000)이 07-03 13:41 완료. 이어서 job 32952 (inference smoke test, 1gpu, 5분)도 같은 날 통과 — 결과 산출물에 대한 후속 분석/문서는 아직 없음.

기간 내 작업 — 신규 커밋/문서 없음, 학습 완료 + smoke test만 존재

git status: 수정 5 + 신규(untracked) 4개(claude/260612/ 포함, 최종 커밋 2026-05-08)

07-03~07-05 동안 git 커밋·claude/ 문서 신규 작성 없음(마지막 문서는 260612 코드 복원 로그). claude/context.md, cosmos-predict2/cosmos_predict2/checkpointer.py, cosmos-predict2/cosmos_predict2/configs/base/experiment/groot.py, scripts/run_cosmos_train_robocasa_mg30_14b_droid(_4gpu).sh가 여전히 미커밋. 신규(untracked)로 scripts/launch_pi05_b0_droid_full.sh, scripts/run_cosmos_inference_robocasa_14b.sh, scripts/run_cosmos_train_robocasa_full_14b_droid_8gpu.sh 3건 확인.

SLURM ↔ 학습 진행

Job ID	실행 명령	상태	GPU	경과	진행률	QOS
31988	run_cosmos_train_robocasa_full_14b_droid_8gpu.sh (본학습, max_iter=20000)	COMPLETED	8	1-16:51:35	20000/20000	extra
32952	run_cosmos_inference_robocasa_14b.sh (inference smoke test)	COMPLETED	1	00:04:48	완료	extra

두 job 모두 07-03 내 완료, 이후(07-04~07-05) 신규 SLURM 제출 없음 — 완료된 ckpt에 대한 평가 계획이 아직 없음.

오늘 할 일

완료된 Cosmos 14B robocasa ckpt(iter 20000) 평가 계획 수립 — inference smoke test 통과만 확인된 상태
groot.py/checkpointer.py/스크립트 경로수정 등 5개 파일 + claude/260612 미커밋 — 2개월째, git commit 필요(6/12 소실 전례 리스크)
context.md/작업 로그 갱신 — 05-08 커밋 이후 공백 지속

비활성 프로젝트

SLURM 전체 요약 (2026-07-03 ~ 2026-07-05)

Job ID	프로젝트	실행 명령	상태	GPU	실행 시간	노드
31825	FastWAM (외부 프로젝트)	robocasa_bs1024 — train_zero1.sh 8 (resume, step 75420/95860)	RUNNING	8	4-16:34+	1
31943	VGGRPO	train_lgm_robocasa_vggt_v0.sh (aggregator, NF8, MAX_STEPS=50000)	COMPLETED	4	1-21:17:55	1
31944	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8, MAX_STEPS=50000)	COMPLETED	4	2-10:46:06	1
31988	DreamData	run_cosmos_train_robocasa_full_14b_droid_8gpu.sh (본학습, 20000/20000)	COMPLETED	8	1-16:51:35	1
32952	DreamData	run_cosmos_inference_robocasa_14b.sh (inference smoke test)	COMPLETED	1	00:04:48	1
33086	VGGRPO	train_lgm_robocasa_vggt_v0.sh (aggregator, NF8, VAE_TYPE=cosmos)	COMPLETED	4	00:36:32	1
33088	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8, VAE_TYPE=cosmos)	CANCELLED (본인)	4	00:00:00	1
33097	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8, VAE_TYPE=cosmos)	CANCELLED (본인)	4	02:44:09	1
33146	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8, VAE_TYPE=cosmos)	CANCELLED (본인)	4	1-03:31:10	1
33147	VGGRPO	train_lgm_robocasa_vggt_v0.sh (aggregator, NF8, VAE_TYPE=cosmos)	CANCELLED (본인)	4	1-03:30:09	1
33528	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8, VAE_TYPE=cosmos, step 27750/50000)	RUNNING	4	1-10:15+	1
33529	VGGRPO	train_lgm_robocasa_vggt_v0.sh (aggregator, NF8, VAE_TYPE=cosmos, step 35300/50000)	RUNNING	4	1-10:15+	1

🎯 오늘의 우선순위

TL;DR

프로젝트별 현황

기간 내 작업 — 신규 문서/커밋 없음, SLURM 실험 반복 제출만 존재

SLURM ↔ 실험 진행

오늘 할 일

기간 내 작업 — 신규 커밋/문서 없음, 학습 완료 + smoke test만 존재

SLURM ↔ 학습 진행

오늘 할 일

비활성 프로젝트

SLURM 전체 요약 (2026-07-03 ~ 2026-07-05)