own 없이 extra QOS로 여러 차례 preempt-resume 되며 진행 중 (job 31199/31200 → 31768/31769 → 31796/31797 → 31943/31944).260630 closed-form stitch layer 탐색(job 29986)에서 VGGT-Ω aggregator 경로의 best layer는 ℓ̂=2로 결정됐다(관련 카드: 260630-vggt_omega_stitch_layer_search.html). 그런데 VGGT-Ω는 aggregator 스티칭 외에 DINOv2 patch embedding 경로로도 stitch할 수 있어(connector → DINOv2[layer..23] → Aggregator(full) → heads), 두 스티칭 방식 중 실제 Phase-B 학습(depth+camera loss, RoboCasa GT)에서 어느 쪽이 더 나은 LGM 표현을 학습하는지는 closed-form MSE만으로는 답할 수 없다. Ridge regression MSE는 latent 재구성 오차일 뿐 실제 downstream loss(L_D, L_cam, L_grad 등)와 상관관계가 보장되지 않기 때문에, 두 변형을 동일 조건 50K-step 풀 학습으로 직접 비교하는 ablation을 돌리기로 했다.
scripts/train_lgm_robocasa_vggt_v0.sh의 STITCH_TYPE env var로 두 변형을 분기, 각각 4-GPU DDP로 동시에 sbatch 제출:
왜 두 잡을 병렬로 돌렸는가: 같은 24-task HDF5 로더 + 같은 loss 코드(phase_b_loss_vggt.py 추정)를 공유하므로 학습 조건은 stitch 경로만 다름 — controlled ablation. extra QOS라 preempt 위험이 있지만 auto-resume 로직(exp dir TAG 매칭)이 있어 재시작 비용이 낮다.
| Config | Step | Loss (최근 200 avg) | L_depth | L_cam | Steps/h | ETA (50K까지) |
|---|---|---|---|---|---|---|
| dino4 (DINOv2 ℓ=4) | 14,516 / 50,000 (29%) | 1.66 | 0.225 | 0.287 | ≈787 | ≈45h |
| agg2 (aggregator ℓ=2) | 18,823 / 50,000 (37.6%) | 3.03 | 0.345 | 0.536 | ≈1011 | ≈31h |
| Config | 초반 (step 0-200) | 중반 | 현재 (최근 200) | 중반→현재 감소율 |
|---|---|---|---|---|
| agg2 | 10.56 | 4.01 (step ~9.3-9.5K) | 3.03 (step ~18.6-18.8K) | 24%↓ |
| dino4 | 10.93 | 3.40 (step ~7.1-7.3K) | 1.66 (step ~14.3-14.5K) | 51%↓ |
260702-vggt_omega_cosmos_vae_stitch_search.html).closed-form MSE 기준으로는 aggregator(ℓ=2, MSE 0.0076)가 DINOv2(ℓ=4, MSE 0.080)보다 latent 재구성 오차가 10배 이상 작았지만, 실제 Phase-B depth/camera 학습 loss에서는 정반대로 DINOv2 경로가 더 빠르고 낮게 수렴하고 있다. 이는 "stitch layer 회귀 오차가 낮다"와 "downstream geometry loss가 잘 학습된다"가 서로 다른 지표임을 보여준다 — LGM 연결부 설계를 순수 재구성 오차만으로 최종 결정하면 안 된다는 근거가 하나 더 쌓였다.
두 run이 동일 step에 도달했을 때의 직접 비교가 아직 없다. dino4가 step 18.8K에 도달하는 시점(현재 속도로 ~5.5h 후) loss를 agg2의 현재 3.03과 재비교해야 진짜 우열이 확정된다. 또한 preempt-resume이 잦아(현재까지 4회 이상) 실질 wall-clock 소요가 늘어나고 있음 — own QOS 확보 여부 검토 필요.
(1) 두 run을 50K step까지 완주시켜 최종 loss·L_depth·L_cam으로 확정 비교. (2) dino4가 최종 우세로 확인되면, DINOv2 stitch 경로를 Cosmos VAE 기반 재학습(Phase 4 준비)으로 이전할지 결정 — 단, cosmos VAE stitch 재탐색 결과(별도 카드)에서 DINOv2가 MSE 기준 훨씬 더 나쁘게 나온 점과 상충하므로 반드시 Cosmos VAE 기반 소규모 파일럿 학습으로 재검증할 것.