Daily Progress Report

2026-04-20 (월요일)

RUNNING 2개
활성 프로젝트 4개
기간 내 SLURM jobs 60+개
Git commits 0개
커버리지: 금~일 (3일)

오늘의 우선순위

01 VGGRPO LGM Phase B 40480→50000 (~81%) 진행 중 — 완료 모니터링 후 GT supervision 전환 준비RUNNING
02 EgoX2_exp2 HCPT 학습 7800/120000 (6.5%) — preemption으로 중단됨. 재제출 필요
03 DreamData Layout B I2V 학습 재제출. 금~일 연속 preemption으로 진행 지연
04 EgoX2_exp1 Dual expert 구현 완료 상태. 학습 재개 (50555 CANCELLED 이후)
05 EgoX_wan2.2 81f Phase 2 상태 확인. 기존 job 37398/38197 현황 파악
TL;DR
프로젝트별 현황
VGGRPO
EgoW/VGGRPO · LGM Phase B
High
이번 기간 (금~일)
Job 48060 (Apr 17 00:33 ~) 3일 8시간+ RUNNING. LGM Phase B — closed-form init (conv3d_init_layer7.pt) 기반 학습.

최신 log (step 40480): loss 0.278 (depth=0.056, pose=0.021, scene_flow=0.400). lr cosine decay 중 (1.02e-5 → 9.91e-6). VAL step 40400 viz 저장 완료.
Step 40480 / 50000
Loss (total) ~0.22–0.34
depth ~0.056
pose ~0.021
scene_flow ~0.35–0.51
Phase B81% (40480/50000)
배경 (Apr 13~16)
Apr 13: find_stitch_layer.py 실행 → best ℓ̂=7 확정 (MSE 1.34e-3, ℓ̂=3 대비 34%↓). U자 커브 확인.
Apr 16: GT depth/pose supervision plan 작성 (plan-gt_alignment.md). DroidDatasetV2에서 GT depth(RealSense mm) + GT camera pose(Euler XYZ) 로드, Any4D 좌표계 정렬 후 loss 대체.
오늘 할 일
  • Phase B 완료(50000 step) 확인 → GT supervision 전환 (train_lgm_v3.py 작성)
  • Step 40000+ val viz 정성 평가 (depth/pose consistency)
  • scene_flow loss weight 검토 (총 loss의 ~60% — 과도하게 높음)
  • EgoExo4D Aria fisheye 도메인 갭 대응 방안 검토
EgoX2 exp2
EgoX2/EgoX2_exp2 · HCPT layout
High
이번 기간 (금~일)
HCPT (Height-Concat + PointMap) 전체 학습 시작. EgoExo4D 3660 clip (train 3318 / val 342), Wan 2.2 I2V A14B, LoRA rank 256.

Apr 17~19: jobs 48503, 49468, 49710, 49851 → 모두 PREEMPTED (2~5h씩). Apr 19: job 50581 (11분, completed) → step 7800 도달, loss 0.37 (rgb=0.13, pt=0.21). 50582 3분 완료 (infer/val).
Step 7800 / 120000
loss_rgb 0.13
loss_ptmap 0.21
grad_norm ~0.6–1.4
HCPT Full Training6.5% (7800/120000)
오늘 할 일
  • 재제출: sbmr 5 "bash scripts/finetune_egoexo4d_hcpt.sh" --gres=gpu:8 -c 192 --mem 1600GB --qos=core-extra
  • rgb_loss / pt_loss 분리 tensorboard logging 추가
  • 4DNeX stats (-0.13, 1.70) 적합성 — pt loss 발산 시 재측정
EgoX2 exp1
EgoX2/EgoX2_exp1 · Dual Expert
Medium
이번 기간 (금~일)
Dual Expert 구현 완료 — boundary_ratio=0.9 (transformer 90% / transformer_2 10%). LoRA rank 128 both experts.

Jobs: 48109, 48419, 48625, 49030, 49615, 49731, 49869, 49944 → 모두 PREEMPTED. 50555 (6.6h) Apr 19 10:45 CANCELLED. 이후 job 없음.

48625 (1.8h COMPLETED Apr 17 19:19): smoke test 통과. 49030 1.5h PREEMPTED.
오늘 할 일
  • 재제출: sbmr 5 "bash scripts/finetune_droid.sh" --gres=gpu:4 -c 96 --mem 800GB --qos=core-extra
  • transformer_2 LoRA init 확인 (기존 checkpoint-5000 호환 여부)
  • DDP find_unused_parameters=True 오버헤드 실측
DreamData
Robotics/DreamData · Stage 1 Layout 비교
High
이번 기간 (금~일)
Layout B I2V (MG-30v2) 학습 시도. 스크립트: train_MG30v2_layout_B_i2v.sh.
Jobs 48006, 48020~21, 48068, 48071, 48168, 48235, 48427, 48502, 48661, 48711, 48737, 48958, 49051, 49614, 49817, 49921, 50112 — 전부 PREEMPTED. 총 15개+. 누적 실행 시간 ~40h+.

49582 Apr 18 (3.4h COMPLETED): 전처리/검증 작업으로 추정.
49733 Apr 18 CANCELLED (3.6h). 50112 Apr 19 40분 후 PREEMPTED. 현재 실행 중인 job 없음.
배경 (Stage 1 현황)
Layout A + I2V = 최선 확인 (GT 일관성 높음). B, C 비교 실험 진행 중. 전처리 v2 (motion crop + task-balanced sampling) 적용 예정.
오늘 할 일
  • Layout B I2V 재제출: sbmr 5 "bash scripts/train_MG30v2_layout_B_i2v.sh" --gres=gpu:4 -c 96 --mem 800GB
  • preemption 패턴 파악 — core-extra QOS 대신 sub-own QOS 사용 검토
  • Layout C I2V / T2V 제출 타이밍 계획
EgoX_wan2.2
EgoX_wan2.2 · 81f Phase 2
Low
이번 3일간 신규 SLURM activity 없음. Context 기준: jobs 37398 (8GPU RUNNING), 38197 (PENDING) — 이전 기간 제출. 현황 확인 필요.

해결 대기 이슈: 81f loss curve / val 이미지 정성 평가, Phase 2 expert swap 검증.
오늘 할 일
  • jobs 37398, 38197 상태 확인 (squeue -u $USER)
  • 81f Phase 2 loss curve 확인 및 정성 평가
○ EgoX_wan2.2_long — 이번 기간 activity 없음. EgoX_wan2.2 81f 안정화 확인 후 착수 예정.
○ Graph_VLM — 이번 기간 activity 없음. API 기반 (GPU 불필요). Phase 1/2 파이프라인 검증 완료 상태 유지.
SLURM 주요 작업 (금~일)
Job ID 프로젝트 실행 명령 GPU 상태 실행 시간 시작
48060 VGGRPO taewoongkang (LGM Phase B) 4 RUNNING 3d 8h+ 04-17 00:33
50555 EgoX2 exp1 taewoongkang (finetune_droid) 4 CANCELLED 06:39:43 04-19 04:06
50581 EgoX2 exp2 taewoongkang (finetune_hcpt) 4 COMPLETED 00:11:01 04-19 12:21
49944 EgoX2 exp1 taewoongkang (finetune_droid) 4 (2GPU) PREEMPTED 06:10:30 04-18 21:55
49851 EgoX2 exp2 taewoongkang (finetune_hcpt) 4 PREEMPTED 04:42:42 04-18 20:24
49921 DreamData train_MG30v2_layout_B_i2v 4 PREEMPTED 04:20:30 04-18 21:08
49614 DreamData train_MG30v2_layout_B_i2v 4 PREEMPTED 04:15:25 04-18 14:29
49582 DreamData taewoongkang (전처리/검증) 4 COMPLETED 03:22:41 04-18 14:02
48625 EgoX2 exp1 taewoongkang (dual expert smoke) 4 (2GPU) COMPLETED 01:47:35 04-17 17:31
48071 DreamData train_MG30v2_layout_B_i2v 4 PREEMPTED 05:04:22 04-17 00:52
48060 VGGRPO taewoongkang (LGM Phase B) 4 RUNNING — 04-17 00:33
48031 VGGRPO taewoongkang (test/validate) 4 COMPLETED 00:01:19 04-16 23:59