VGGRPO

DROID 실측 GT depth로 VGGT-Ω reward backbone 채택 결정을 독립 검증(AbsRel 0.120, 전 metric 1위, RoboCasa와 순위 완전 동일) — 단 기존 카드가 근거로 든 \1은 정정 필요: VGGT-Ω도 ep4에서 1.95~2.10으로 폭주, |1-scale| 평균 기준 실제 최고 안정은 VGGT(0.053)였다.

VGGT-Ω LGM에 wrist-view 가중 depth loss(a5, \1) 적용 학습 — 260721 step 0 fresh start 후 260722~23 사이 6회 연속 extra QOS preempt를 모두 500-step 체크포인트로 무손실 recover하며 step 22.6K/50K(45%) 도달, bucket 평균 loss 3.33→0.94로 안정적 하강.

Cosmos-norm 재학습 착수 과정에서 launcher/데이터로더 버그 7건 발견·수정 — exp dir 충돌로 33146/33147이 실은 Wan VAE로 잘못 학습 중이던 사실 발견(삭제), fp32 재전처리 IndexError 클램프 수정, max_steps 미저장 버그 수정, ckpt pruning 도입으로 디스크 2.5TB→110GB 회수.

VGGT-Ω LGM 4-way(Wan/Cosmos-nonorm × agg2/dino4) 완주 결과 취합 — dino4가 두 VAE 모두에서 우세 확정(Wan 1.03 < 1.70, Cosmos-nonorm 0.92 < ~1.75). 단 Cosmos 쪽은 fp16 depth quantization + latent 미정규화 버그로 confound돼 있어 fp32+norm 재학습(job 37233/37399) 착수.

GRPO 루프 end-to-end 배선 + 1-step smoke 통과. 14B video 정책 backward가 1 GPU 초과 → micro-batch1·uncond-detach로도 OOM → block_wise full-recompute SAC로 fit(cosmos block_wise 버그 monkeypatch). SMOKE PASS: advantage std=0.999, grad_fn=True, ratio_init=1.0, grad_norm=1.2e-4.

Cosmos-Predict2 tokenizer의 채널별 latent std가 30~60배 불균일(채널10 std=60.74, 나머지 1.7~12.6)해 Conv3d gradient가 한 채널에 쏠리는 문제 발견 → Welford 통계(96clip×3cam×8frame, 1.79M samples/채널)로 \1 정규화 구현, 학습/stitch-search(agg·dino) 3개 스크립트에 적용, Wan VAE는 no-op 보장.

VGGT-Omega pixel reward(Phase B): plan의 cross-view depth-L1 r_geo가 실패(noise>coherent, flat-depth 보상)해서 discriminability probe로 photometric을 데이터 선정 — temporal within-cam(coherent/noise 21× 분리) + exo↔exo. 최종 reward monotonic: coherent 0.9746 > shuffled 0.8943 > noise 0.8780.

Cosmos-V2W(14B)를 Flow-Factory GRPO에 붙이는 \1/\1/\1 정식 재작성 — cosmos denoise를 감싸고 EDM↔flow-matching 좌표만 변환해 FF SDE 스케줄러 재사용. \1이 cosmos \1와 \1 비트 일치, dual-mode log_prob ratio=1.000000. Phase A 핵심 리스크 해소.

Phase4 base가 Cosmos-Predict2로 확정됨에 따라 VGGT-Ω LGM aggregator vs DINOv2 stitch 학습을 Wan VAE → Cosmos VAE 타깃으로 전환 재실행. own QOS preemption 3회(job 33088/33097/33146/33147 CANCELLED) 후 07/04 처음부터 재시작 — aggregator step 35.9K/50K(71.9%), DINOv2 step 28.2K/50K(56.5%) 진행 중.

VGGT-Ω LGM Phase-B 50K step 학습 지속 — agg2 step 43,488/50K(87%), dino4 step 33,963/50K(68%). job 31943/31944이 39h 무선점 연속 RUNNING. 동일 step(~34K) matched 비교에서 dino4 loss 1.00 < agg2 1.56(36%↓) — DINOv2 stitch 우세를 apples-to-apples로 확정.

Phase 4 base가 Cosmos-Predict2로 정해진 것에 맞춰 stitch layer closed-form 탐색을 Cosmos VAE 타깃으로 재실행. best layer는 aggregator=2/DINOv2=4로 Wan VAE와 동일하게 견고했지만, MSE 저하폭은 aggregator +8%(0.0076→0.0082) vs DINOv2 +53%(0.080→0.122)로 DINOv2가 훨씬 취약.

VGGT-Ω LGM Phase-B 50K step 학습, aggregator(ℓ=2) vs DINOv2(ℓ=4) stitch ablation 진행 중. agg2 step 18.8K/50K loss 3.03, dino4 step 14.5K/50K loss 1.66 — DINOv2가 steps/hr는 22% 느리지만 loss는 더 낮고 더 빨리 수렴.

VGGT-Ω 기반 LGM (connector + stitched backbone + loss)의 input/output/layer 상세 설계 문서 작성, 원본 VGGT 학습 코드 대비 충실도(fidelity) 항목별 비교표 완성. Camera loss는 거의 동일(single-stage 단순화만 존재), Depth loss는 quantile filter/normal loss/log-depth gradient 등 5개 항목 미구현.

VGGT-Ω stitch layer closed-form 탐색 완료 (job 29986, 1h): best=ℓ̂=2 (MSE 7.61e-3). 단조 증가 MSE curve, 초반 layer가 VAE latent에 최선 정렬 — DA3 best=6과 대조적.

VGGT-Ω를 off-the-shelf Phase 4 reward backbone으로 최종 채택. 정량(RoboCasa AbsRel 0.296, 전 metric 1위)·정성(DROID 3-cam)·sim3 scale 안정성(0.93~1.11, DA3는 0.36~1.12) 세 근거 종합.

RoboCasa(GT scale-align)와 DROID(self-coord) 두 도메인에서 4개 depth 모델(Any4D/DA3/VGGT/VGGT-Ω) 정성 비교용 viser 3D pointcloud 뷰어 구축. cam-tint 토글·timestep 드롭다운으로 multiview 정합 즉시 시각 확인.

4-way off-the-shelf RGB depth eval 완료 (48 clips): VGGT-Ω AbsRel 0.296 전 metric 1위, VGGT 0.386 2위, Any4D/DA3 0.70~0.78 하위권. Any4D 버그(6.6× 개선) 포함.

DA3-v2 50K 완주 확정 (loss 0.07-0.20, avg 0.12) — 3-track 최종 결론: DA3-v2만 수렴, DA3-v1 발산, Any4D 크래시. Phase 4 RL fine-tuning 착수 준비 완료.

DA3-v1 step 50K 완료(발산 확정, total_loss≈35-49). DA3-v2 step 49.9K(99.9%) 수렴 안정(loss 0.07-0.14). Any4D 크래시 미복구(47.8K). 3-track 사실상 종료.

Any4D step 47.5K에서 DINOv2 hub race condition(OSError)으로 크래시·중단. DA3-v2 step 45.9K loss≈0.08 안정 수렴(91.8%), DA3-v1 step 48.4K ro≈60-120° 발산 지속(96.8%)

Any4D step 47.3K(94.6%) 오늘 완주 예정, DA3-v2 38.3K loss≈0.10 안정 수렴, DA3-v1 40.9K ro≈65-130° 발산 지속 (scancel 미실행)

Any4D step 41.9K(83.7%) loss≈0.28 수렴 가속, DA3-v2 step 33.5K loss≈0.10 목표 달성 임박, DA3-v1 step 36.1K ro≈86° 발산 지속 — Any4D Jun 9-10 완주 예상

Any4D step 25.5K(51%) loss≈0.33 안정, DA3-v2 step 19.4K loss≈0.15 수렴 지속(20K 평가 임박), DA3-v1 step 21.9K rotation(ro≈20–202) 발산 무변화

Any4D step 20.0K(40%) loss≈0.29 안정, DA3-v2 step 14.6K loss≈0.12 수렴 중, DA3-v1 step 17.1K rotation항(ro≈98) 발산 지속

Jobs 11851/11853/11869 재가동(Jun 2); Any4D step 14670 loss≈0.35 안정, DA3-v2 step 9800 loss≈0.18 수렴, DA3-v1 step 12400 loss≈40 발산 지속

260521 3-track 재개: Any4D step 12720(loss 0.35, LR cosine restart 구간), DA3-v2 step 8000(loss 0.20 수렴), DA3-v1 step 10950(loss ~40 발산 지속) — jobs 6695/6696 user cancel 3h, 6881 PREEMPT 4h58m

DA3 Phase B loss ablation — v1(자체 설계 6-term) step 10419서 loss 45로 발산 vs v2(논문 §3.2 완전 구현) step 7816서 0.21로 수렴. confidence-weighted L_D + L_P(3D point) 설계가 핵심

DA3 vitl 24-task RoboCasa closed-form ridge search — layer 6 MSE 0.0249으로 최솟값, alt_start=8 직전 레이어 채택, Conv3d init weight 저장 완료

DA3 v2 loss(L_D+M+P+C+grad) 24-task sealed 학습 step 3000→7800 — loss 0.525→0.181로 수렴 진행. job 1845 21h35m 주행 후 PREEMPTED, 이후 6회 재시도 모두 단시간 PREEMPTED/CANCELLED. 최종 ckpt phaseB_7500.pt 저장.

FF BaseAdapter 실제 소스 조사 — abstract 메서드 4개 확인, Wan2_I2V 레퍼런스 분석, Cosmos-Predict2 매핑 표 6항목 완성; 계획 문서 잘못된 import 경로 3개 정정

Sealed RoboCasa MG-30 per-task preprocessing 2차 배치 완료 — 4개 task 11~13h씩 COMPLETED, 1차 배치(14개 task) CANCELLED/PREEMPTED 후 재시도 성공. 총 처리 규모 및 잔여 task 현황 정리.

Phase 2 RL fine-tuning 설계 확정 — Cosmos-Predict2-2B robocasa base + Flow-Factory adapter + flow-grpo/NFT 2-track × xview reward 3-weight = 6-run ablation, W1~W6 마일스톤 수립

3-track 수렴 비교 (Any4D step 12600 / DA3-v1 step 7800 / DA3-v2 step 9750): DA3-v2 loss 0.085 지속 개선, Any4D 0.21 plateau 확인, DA3-v1 ray_origin 지배로 ~1.05 불안정 유지

sealed 3-track 수렴 비교 (Any4D step 8605 / DA3-v1 step 6389 / DA3-v2 step 5750): DA3-v2 sigmoid loss 0.135 최저, Any4D 0.250 plateau 진입, DA3-v1 1.156(ray_origin 2.19 지배 지속 — 점진 감소)

sealed data 3-track 중간 수렴 비교 (step 2700~4195): Any4D 0.224 안정, DA3-v2 sigmoid 0.182 수렴, DA3-v1 1.47(ray_origin 2.76 지배 — 불안정)

sealed RoboCasa(∞ depth 제거) 3000 demos 전처리 완료 후 Any4D·DA3-v1·DA3-v2-sigmoid 3개 트랙 동시 fresh start — step 2000 기준 Any4D 0.332, DA3-v1 0.937(ray_origin 주도), DA3-v2 0.374 (sub 잦은 preempt로 ~800 step만 진행)

v2 softplus 24h 학습(step 5700) r=0.84 < v1(step 3300) r=0.93 — conf D_c→∞ inflation 원인 진단; sigmoid 파라미터화로 D_c∈(0,1) bounded → job 4389 재시작, step 0→50 total 2.36→1.33 (-44%), L_D -79%

DA3 paper §3.2 supervision 5항 (L_D·L_M·L_P·L_C·L_grad) + GT-side scale norm 완전 구현 — v1 대비 L_P(3D point) 추가, conf-weighted depth, 9-DoF pose 감독. job 3219 4GPU DDP 시작, dry run: total 1.9569, NaN/Inf clean

DA3 트랙 prototype 완료 — connector(235L) + stitch search(best layer=6, MSE 0.0252) + phase-B loss(232L) + train shell(296L), 총 1300라인. forward dry run: 4.59s/96views, 8.95GB peak. 클린 데이터 대기 중.

depth supervision은 per-view (s,b) LS fit — eye_in_hand에서 s=1.77~6.49 (3.7×) 변동. pose/ray는 per-clip/per-cam으로 일관. monocular Any4D의 frame-level scale ambiguity가 view간 pred 불일치의 주원인.

Any4D monocular의 frame-level scale ambiguity를 multi-view DA3로 근본 해결하는 트랙을 분리 확립. 재현(Any4D) 완료 후 cross-view consistency ablation에서 트리거 조건 충족 시 DA3 전환.

DA3는 DINOv2 vitl + cross-view alternating attention (alt_start=8) — 출력: metric depth + ray map(6ch) + camera head(9-DoF). Any4D monocular 대비 per-view alignment 제거 가능. DA3METRIC-LARGE(Apache 2.0)가 우리 파이프라인에 가장 적합.

RoboCasa GT 3-cam LGM 학습 파이프라인 완성 — preprocess 4-way 병렬(~4h) + train_lgm_robocasa_v0 4GPU DDP 제출, job 483 RUNNING(5h57m as of 260430)

RoboCasa stored depth의 cross-camera 1.41cm 잔차는 코드 버그가 아닌 randomize_cameras=True로 인한 inherent geometry noise — \1 경로(sim.model.cam_pos/quat 직접 write) 채택

LGMv3 Phase B job 48060이 step 47.5K(95%)에서 안정 수렴 중 — depth loss 0.055→0.046 (추가 16%↓), pose 0.018 plateau, scene flow 여전히 노이지. LR cosine tail 진입 (<1e-6), 완료까지 ~3h 잔여.

LGMv3 Phase B job 48060이 step 17.5K→40.7K(81%) 안정 수렴 — depth loss 0.362→0.055 (85%↓), pose loss 0.060→0.018 (70%↓), scene flow noise 지속, 선점 없이 3일 9시간 RUNNING

train_lgm_v3.sh Phase B 4 GPU 학습 — 4회 PREEMPT(총 ~26h) 후 job 48060이 15h+ RUNNING 중. core-extra QOS 환경에서 반복 선점 발생

DROID GT depth(RealSense mm)/pose(Euler XYZ)를 Any4D 좌표계로 on-the-fly 정렬하여 Phase B pseudo-label→GT supervision 전환 설계 — 156 에피소드, depth NaN ~15-21%

260406-260412 · 6-phase roadmap update + LGM redesign

260406-260412 · ~20 SLURM jobs, ~5 GPU·d wall time

260406-260412 · 4D geometry reward for video diffusion

260406-260412 · multi-camera adaptation of single-cam baseline

260406-260412 · why all prior LGM results are invalid

VGGRPO: 4D Geometry Reward for Video Diffusion

VGGRPO 논문은 VAE latent에서 4D geometry로의 연결에 "lightweight connector"를 사용한다. 단일 Conv3d가 충분한지 검증.

VGGRPO Progress

Experiments

VGGRPO Implementation Plan