VGGT-Ω reward backbone 최종 채택 — Phase 4 직접 RGB 경로 확정

← 목록으로

TL;DR

결정: VGGT-Ω off-the-shelf를 Phase 4 reward backbone 1순위로 채택 (VGGT 2순위 백업)
정량 (RoboCasa 48 clips, GT depth): VGGT-Ω AbsRel 0.296, 전 metric 1위. VGGT 0.386, Any4D 0.699, DA3 0.776
정성 (DROID 3-cam, viser): VGGT-Ω/VGGT 재구성 우수. sim3 scale: VGGT 0.93~1.11 안정, DA3 0.36~1.12 불안정 → 정량 순위와 일치
Fine-tune 없이 off-the-shelf 바로 사용. HF 캐시 완료(keh0t0), stitch layer ℓ̂=2도 결정(260630)

0.296

VGGT-Ω AbsRel ↓

0.747

VGGT-Ω δ<1.25 ↑

0.920

VGGT-Ω δ³ ↑

eval clips (GT)

0.36~1.12

DA3 sim3 scale

1 배경/목적 (왜)

VGGRPO Phase 4(RL fine-tuning) reward function의 핵심은 "diffusion 생성 비디오의 3D geometry quality를 평가하는 신호"다. 이를 위해 depth/geometry FM을 reward backbone으로 써야 하는데, 어떤 모델을 선택하느냐가 reward 신뢰도를 결정한다.

Phase 2에서 LGM connector(VAE latent → depth) 경로를 설계했지만, 260512 결정으로 reward path를 DA3 backbone direct-RGB 방식으로 전환했다. 이후 4-way 비교(Any4D/DA3/VGGT/VGGT-Ω) 정량 eval(260624)과 viser 정성 분석(260629)을 종합해 최종 backbone을 선택.

핵심 질문: "어떤 depth FM이 RoboCasa 시뮬 도메인(GT depth 검증 가능)과 DROID 실로봇 도메인(정성) 양쪽에서 가장 신뢰할 수 있는 geometry reward 신호를 제공하는가?"

2 작업 내용 (어떻게)

세 가지 분석을 순차로 진행해 backbone 결정 근거를 쌓았다.

① 정량 eval (260624, job 26434)

스크립트: scripts/eval_backbones_rgb.py — 4개 FM을 off-the-shelf RAW RGB 입력으로 동일 RoboCasa held-out에서 비교
공정성: VGGT/DA3/VGGT-Ω는 static-multiview 가정 → timestep별 3-cam 1 set으로 forward. Any4D만 native temporal
Held-out: task별 마지막 2 demo × 24 task = 48 clips, 32 frames × 3 cam = 96 views/clip
Metric: per-clip median-ratio scale align 후 AbsRel, RMSE, δ<1.25, δ², δ³

② viser 정성 분석 (260629)

RoboCasa: GT scale-align 후 3D pointcloud viewer. cam-tint(exo1=빨강/exo2=초록/wrist=파랑)로 multiview 정합 즉시 확인
DROID 2-cam(droid_full_processed) → 3-cam(LeRobot exterior_image_1/2 + wrist) 확장
8 에피소드 선택 (AUTOLab/CLVR/IPRL/IRIS/PennPAL/RAIL/TRI/WEIRD, 13개 lab 중 8개 다양성 확보)

③ sim3 temporal alignment 분석 (260629)

문제: per-timestep 독립 forward라 각 timestep이 별도 좌표계 → K 프레임을 joint forward하는 오버랩 슬라이딩 윈도우 도입
글로벌 정합: 오버랩 frame을 anchor로 Umeyama sim3(s,R,t) 추정 → 윈도우 체이닝으로 전 frame을 단일 글로벌 좌표계로 통합
결과로 추출한 cumulative scale per window: 모델의 depth scale 일관성 정량화

3 결과 (수치)

정량 — RoboCasa 48 clips × 32 frames (GT depth, 최종)

Model	AbsRel ↓	RMSE ↓	δ<1.25 ↑	δ<1.25² ↑	δ<1.25³ ↑	scale
VGGT-Ω	0.296	0.168	0.747	0.873	0.920	1.36
VGGT	0.386	0.188	0.711	0.830	0.885	1.40
Any4D	0.699	0.351	0.617	0.771	0.835	0.59
DA3	0.776	0.324	0.596	0.755	0.830	1.31

VGGT-Ω AbsRel 0.296 — 전 metric 1위. VGGT가 2위. Any4D ≈ DA3 (0.70~0.78)로 VGGT 계열과 격차 큼. δ<1.25³ 0.92로 outlier도 최소.

sim3 temporal scale 안정성 (DROID, cumulative scale per window)

Model	scale 범위	판정
VGGT-Ω	0.93~1.11	✅ 안정 (≈1.0)
VGGT	0.93~1.11	✅ 안정
Any4D	0.77~1.02	⚠️ 약간 변동
DA3	0.36~1.12	❌ 불안정 (3× 변동)

DA3 scale 0.36~1.12: 동일 에피소드 내 윈도우 간 scale이 3배 차이. reward signal로 쓸 경우 frame마다 depth scale이 달라져 학습 신호가 일관되지 않음. VGGT-Ω/VGGT는 ≈1.0으로 scale anchor가 안정적.

정성 (DROID 3-cam, viser 관찰)

VGGT-Ω/VGGT: exo1+exo2+wrist 3-cam cam-tint 모드에서 reconstruction이 공간적으로 일관. 카운터 평면이 평탄하고 물체 형태가 명확
DA3: scale 불안정(정량 일치). 타임스텝 간 depth가 튀는 경우 관찰
Any4D: off-the-shelf(fine-tune 없음)라 RoboCasa sim 분포 밖이지만 LGM fine-tune 없이도 중위권

4 Takeaway

🎯 최종 결정: VGGT-Ω를 Phase 4 reward backbone 1순위로 채택

근거 3가지 (전부 일치):

정량: RoboCasa GT depth에서 AbsRel 0.296 (전 metric 1위). VGGT 2위(0.386)와 격차 있으나 둘 다 Any4D/DA3를 크게 앞섬
정성: DROID 실로봇 3-cam에서 reconstruction 품질 우수, exo↔wrist 정합이 일관
scale 안정성: sim3 anchor scale ≈1.0 (0.93~1.11) → 윈도우 간 depth scale이 거의 일정. reward signal 시간적 일관성 확보

VGGT 2순위 백업. VGGT-Ω가 접근 불가하거나 속도 문제 시 대체.

DA3가 탈락한 이유

정량 AbsRel 0.776 (최하위)도 문제지만, sim3 scale 0.36~1.12가 더 치명적이다. reward로 쓰려면 같은 에피소드 내에서 "frame 1이나 frame 30이나 동일한 depth quality 기준"이어야 하는데, DA3는 윈도우마다 scale 기준점이 달라져 reward 신호가 노이즈에 휩쓸릴 가능성이 높다. 단순 정량 순위 이상으로 reward에 부적합.

정량 순위와 정성 안정성이 완전히 일치 → 결정 신뢰도 높음
fine-tune 없이 off-the-shelf 바로 사용 가능한 수준 (사용자 직접 확인)
HF gated이지만 keh0t0 승인 + 공유 NAS 캐시 완료 → worker에서 HF_TOKEN 불필요
stitch layer ℓ̂=2도 동일 세션에서 결정(260630) → connector 통합 경로도 열림

5 Next Steps

Phase 4 reward 설계 시작: VGGT-Ω 3-cam direct-RGB → depth → 4D reward(SSIM + depth error + flow consistency). src/reward/vggt_omega_reward.py 구현
reward sanity check: RoboCasa GT depth를 reference로 VGGT-Ω depth → reward signal 변환 시 신호 강도 및 분포 확인. 잘못된 scale이 reward를 saturate하지 않는지
FF adapter / Cosmos base 연결: Sub-plan #1 Task 1 (FF submodule) → VGGT-Ω reward path와 연동. Cosmos-Predict2-2B(iter 73.2K) base 확인
(선택) LGM connector path: VGGT-Ω connector(stitch layer=2) + LGM fine-tune → off-the-shelf 대비 성능 gain 있는지 1점 비교. off-the-shelf 우선, 부족 시 시도
(선택) VGGT-Ω per-task breakdown: tmp/eval_backbones_rgb/eval_metrics.json에서 task별 강약 파악

VGGT-Ω reward backbone 최종 채택 결정