Daily Progress — 2026-07-02

🎯 오늘의 우선순위

01 VGGRPO job 31943(aggregator)/31944(dino) NF8 50K-step 본학습이 own qos로 14시간+ RUNNING(현재 step ≈18100/14000, loss noisy·명확한 수렴 안 보임) — sjob 31943/sjob 31944로 진행 모니터링. VGGT connector·loss·stitch 스크립트 등 신규 파일 4개+ 전부 미커밋 — 오늘 반드시 커밋 + claude/260701/*.md 작업 로그 작성.
02 DreamData job 31988 (mg3000 전체 8GPU 본학습, max_iter=20000)이 12시간+ RUNNING — checkpoint pruning(COSMOS_KEEP_LAST_N) 정상 동작 여부와 디스크 사용량 확인. groot.py/checkpointer.py 등 4개 파일 변경도 미커밋 상태 — 6/12 GR00T-Dreams 디렉토리 소실 전례가 있으니 오늘 커밋 우선.
03 VGGRPO Stitch layer 탐색 결과 확정: aggregator layer=2 (MSE 8.2e-3)가 dino layer=4(MSE 1.22e-1, 15배 나쁨) 대비 압도적 우위 — 설계 방향 확정. 다만 job 31769(NF16, dino, COMPLETED) 로그에 torchrun exitcode 1 트레이스백 존재 — 정상 종료인지 오늘 재확인 필요.
04 EgoX_wan2.2_long phase1 학습이 step 6000/100k(6%)에서 멈춘 채 6/24 이후 재개 없음 — sbmr auto-resume으로 재개하고, infer_long.sh의 stale --lora_path ./results/long_video/checkpoint-50 경로부터 교정.
05 Graph_VLM / EgoX_wan2.2 / EgoX2 세 프로젝트 모두 완전 dormant(각각 4/20, 4/8, 5/19 이후 무활동). 우선순위는 낮으나 재개할지 정리(archive)할지 결정이 필요한 시점 — 특히 EgoX2는 git repo조차 아니라 이력 추적이 불가능한 상태.

프로젝트별 현황

VGGRPO

High 2 RUNNING 미커밋

Video diffusion GRPO fine-tune → 4D geometry reward 기반 3D-consistent wrist-view 생성 · EgoW/VGGRPO

📐 Stitch Layer 확정

Phase 2(LGM 구축) — 260629에 reward backbone을 VGGT-Ω로 확정(AbsRel 0.296, off-the-shelf 4-way 비교 1위)한 직후, 실제 학습 파이프라인 통합을 위한 stitch layer 탐색 완료: aggregator 경로 best layer=2 (MSE 8.2e-3) vs DINOv2 경로 best layer=4 (MSE 1.22e-1, 15배 나쁨) — aggregator stitch가 더 유력한 설계로 확인.

어제 작업 (미커밋)

신규 파일 (mtime 07-01, 전부 미커밋)

scripts/find_stitch_layer_vggt.py/.sh, scripts/find_stitch_layer_vggt_dinov2.py/.sh, scripts/train_lgm_robocasa_vggt_v0.py/.sh, src/models/lgm_connector_vggt.py, phase_b_loss_vggt.py 등 VGGT-Ω 통합용 신규 모듈 다수 + 기존 DA3 스크립트 다수 수정. 최신 커밋은 2026-05-07(9da4b07)로 두 달 전 — 어제 작업량은 상당하지만 전부 workspace에만 존재. claude/260701/ 작업 로그도 미작성(최신 문서는 260630 research 문서).

SLURM ↔ 실험 해석

⚠️ Preempt·재시도 흐름

1GPU stitch 탐색(31896/31897)은 둘 다 DUE TO PREEMPTION으로 취소(eval pass 중간, 각 36분/21분30초 지점) — extra qos 특성상 정상적인 preemption. 재시도(31941/31942)는 완료되어 위 layer 결정을 확보. 4GPU 본학습 스윕(NUM_FRAMES 8×16 × STITCH_TYPE aggregator/dino)에서 NF16 조합은 스모크성(31768 즉시 취소, 31769는 COMPLETED이나 exitcode 1 트레이스백 존재·재확인 필요), NF8 조합(31796/31797)은 3.5시간+ 진행 후 같은 초에 동시 취소(수동 scancel 추정, 재구성 목적) → 이후 31943/31944를 own qos + MAX_STEPS=50000으로 재제출해 현재 안정적으로 RUNNING 중.

Job ID	실행 명령	상태	GPU	실행 시간	QOS
31768	STITCH_TYPE=aggregator NUM_FRAMES=16 train_lgm_robocasa_vggt_v0.sh	CANCELLED	4	00:09:19	own
31769	STITCH_TYPE=dino NUM_FRAMES=16 train_lgm_robocasa_vggt_v0.sh	COMPLETED*	4	00:07:36	own
31796	STITCH_TYPE=aggregator NUM_FRAMES=8 train_lgm_robocasa_vggt_v0.sh	CANCELLED	4	03:39:31	own
31797	STITCH_TYPE=dino NUM_FRAMES=8 train_lgm_robocasa_vggt_v0.sh	CANCELLED	4	03:33:01	own
31896	VAE_TYPE=cosmos find_stitch_layer_vggt.sh	PREEMPTED	1	00:36:00	extra
31897	find_stitch_layer_vggt_dinov2.sh	PREEMPTED	1	00:21:30	extra
31941	VAE_TYPE=cosmos find_stitch_layer_vggt.sh (재시도)	COMPLETED	1	01:00:28	extra
31942	find_stitch_layer_vggt_dinov2.sh (재시도)	COMPLETED	1	00:34:41	extra
31943	STITCH_TYPE=aggregator NUM_FRAMES=8 MAX_STEPS=50000 train_lgm_robocasa_vggt_v0.sh	RUNNING (14h+)	4	14:18:10+	own
31944	STITCH_TYPE=dino NUM_FRAMES=8 MAX_STEPS=50000 train_lgm_robocasa_vggt_v0.sh	RUNNING (14h+)	4	14:17:40+	own

*31769는 상태상 COMPLETED이나 로그에 torchrun exitcode 1 트레이스백 존재 — 재확인 필요. RUNNING 2건 최신 로그: agg2 step 18100(loss 2.91), dino4 step 14000(loss 2.11) — 둘 다 noisy, 뚜렷한 수렴 신호 아직 없음.

오늘 할 일

31943(aggregator)/31944(dino) 50K-step 런 모니터링 — loss 추세 확인, 50K 완주 후 두 stitch type 최종 비교
31769 COMPLETED건의 torchrun exitcode 1 트레이스백 원인 확인(정상 종료 여부)
VGGT connector/loss/stitch 스크립트 일체 커밋 + claude/260701/*.md 작업 로그 작성 (문서화 공백 해소)
RoboCasa dataloader 3-cam 일반화, train_lgm_gt_v0.py 3-cam 확장 — 기존 미해결 이슈
Depth alignment frame-level scale 변동(eye_in_hand s=1.77~6.49) 원인 분석 — 기존 미해결 이슈

DreamData

Medium 1 RUNNING 미커밋

Action label 없는 비디오로 로봇 학습 — DreamGen 파이프라인 (IDM pseudo-action 역추정 → Cosmos-Predict2 비디오 생성 → policy fine-tune) · Robotics/DreamData

🔧 파이프라인 검증 → 본학습 가동

IDM 트랙은 latent-multistream 107mm까지 개선 완료, Cosmos 14B 학습으로 전환 중. 어제 4GPU dry-run(3건, max_iter=10) → CPU 전처리(prepare_robocasa_for_cosmos.py) → T5 임베딩 → 8GPU 본학습 순서로 파이프라인 전체를 검증하고 실제 가동까지 완료.

어제 작업 (미커밋)

workspace 변경 4건 (mtime 07-01, 전부 미커밋)

cosmos-predict2/.../groot.py: 14B robocasa_480 실험의 optimizer fusedadamw→adamw (B200엔 apex 없어 fusedadamw 불가, AdamW fallback) · cosmos-predict2/checkpointer.py: _prune_old_checkpoints() 추가 — COSMOS_KEEP_LAST_N(기본 3)개만 남기고 오래된 iter 체크포인트 자동 삭제(14B ckpt 용량 대응) · scripts/run_cosmos_train_robocasa_mg30_14b_droid(_4gpu).sh: 작업 디렉토리를 소실된 GR00T-Dreams/에서 DreamData/로 경로 수정 + "$@" passthrough 추가 · 신규 scripts/run_cosmos_train_robocasa_full_14b_droid_8gpu.sh: mg3000 전체(~67k ep) 8GPU 본학습 스크립트 (job 31988이 바로 이 스크립트). 마지막 실제 git 커밋은 2026-05-08.

SLURM ↔ 파이프라인 흐름

Job ID	실행 명령	상태	GPU	실행 시간	QOS
31927	run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh max_iter=10 (dry-run)	COMPLETED	4	00:00:56	extra
31930	run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh max_iter=10 (재시도)	COMPLETED	4	00:00:25	extra
31933	run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh max_iter=10 (재시도)	COMPLETED	4	00:05:59	extra
31938	prepare_robocasa_for_cosmos.py (CPU-only 전처리, 30 workers)	COMPLETED	0 (32c)	01:56:59	extra
31984	run_t5_embeddings_standalone.py (T5 임베딩 생성)	COMPLETED	1	00:06:26	extra
31988	run_cosmos_train_robocasa_full_14b_droid_8gpu.sh (본학습, max_iter=20000)	RUNNING (12h+)	8	12:10:39+	extra

흐름: 4GPU dry-run(3건, path-fix+apex제거 검증) → CPU 전처리(2시간) → T5 임베딩(6분) → 검증 통과 후 본학습(31988, extra qos, ckpt pruning 활성). extra qos라 preempt 리스크 있음 — own 여유 시 전환 고려.

오늘 할 일

groot.py/checkpointer.py/스크립트 경로수정/신규 8gpu 스크립트 — 4개 파일 미커밋. git commit 필요(6/12 GR00T-Dreams 소실 전례 있어 리스크 높음)
sjob 31988로 진행 모니터링, loss/step 확인 및 checkpoint pruning 정상 동작(디스크 사용량) 체크
context.md/작업 로그 갱신 — 6/12 이후 공백 상태

비활성 프로젝트

SLURM 전체 요약 (2026-07-01)

Job ID	프로젝트	실행 명령	상태	GPU	실행 시간	노드
31768	VGGRPO	train_lgm_robocasa_vggt_v0.sh (agg, NF16)	CANCELLED	4	00:09:19	1
31769	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF16)	COMPLETED	4	00:07:36	1
31796	VGGRPO	train_lgm_robocasa_vggt_v0.sh (agg, NF8)	CANCELLED	4	03:39:31	1
31797	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8)	CANCELLED	4	03:33:01	1
31824	cosmos-predict2.5 (외부 프로젝트)	train_robocasa_mv.sh trainer.max_iter=20 (CP=4)	COMPLETED	4	00:01:44	1
31825	FastWAM (외부 프로젝트)	robocasa_bs1024 — train_zero1.sh 8 (resume)	CANCELLED	8	00:34:12	1
31896	VGGRPO	find_stitch_layer_vggt.sh	PREEMPTED	1	00:36:00	1
31897	VGGRPO	find_stitch_layer_vggt_dinov2.sh	PREEMPTED	1	00:21:30	1
31927	DreamData	run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh (dry-run)	COMPLETED	4	00:00:56	1
31930	DreamData	run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh (dry-run 재시도)	COMPLETED	4	00:00:25	1
31933	DreamData	run_cosmos_train_robocasa_mg30_14b_droid_4gpu.sh (dry-run 재시도)	COMPLETED	4	00:05:59	1
31938	DreamData	prepare_robocasa_for_cosmos.py (CPU-only)	COMPLETED	0 (32c)	01:56:59	1
31941	VGGRPO	find_stitch_layer_vggt.sh (재시도)	COMPLETED	1	01:00:28	1
31942	VGGRPO	find_stitch_layer_vggt_dinov2.sh (재시도)	COMPLETED	1	00:34:41	1
31943	VGGRPO	train_lgm_robocasa_vggt_v0.sh (agg, NF8, MAX_STEPS=50000)	RUNNING (14h+)	4	14:18:10+	1
31944	VGGRPO	train_lgm_robocasa_vggt_v0.sh (dino, NF8, MAX_STEPS=50000)	RUNNING (14h+)	4	14:17:40+	1
31984	DreamData	run_t5_embeddings_standalone.py	COMPLETED	1	00:06:26	1
31988	DreamData	run_cosmos_train_robocasa_full_14b_droid_8gpu.sh (본학습)	RUNNING (12h+)	8	12:10:39+	1

🎯 오늘의 우선순위

TL;DR

프로젝트별 현황

어제 작업 (미커밋)

SLURM ↔ 실험 해석

오늘 할 일

어제 작업 (미커밋)

SLURM ↔ 파이프라인 흐름

오늘 할 일

비활성 프로젝트

SLURM 전체 요약 (2026-07-01)