VGGRPO Research — 4D Geometry Reward로 Video Diffusion 강화

Video Diffusion + 4D Geometry Reward + GRPO

Video diffusion model의 3D consistency를 4D geometry reward로 강화할 수 있는가? LLM 영역의 GRPO가 diffusion model에도 적용 가능한가? 로봇 도메인(dual-view, ego+wrist)에서 이 접근이 유효한가?

4D geometry reward GRPO for diffusion 3D consistency video generation robotics adaptation

Towards World-Consistent Video Generation with 4D Latent Reward

Authors: Zhaochong An, Orest Kupyn, et al. (Google, U Copenhagen, Oxford)
arXiv: 2603.26599
Core idea: Video diffusion으로 multi-view video 생성 → 4D reconstruction으로 geometry 평가 → reward signal로 GRPO 최적화

Architecture Pipeline

Video Diffusion (SV4D) → Generated multi-view video ↓ 4D Reconstruction (DUSt3R/MASt3R) → 4D Gaussians ↓ Reward Computation: r = α·SSIM_novel + β·(1 - depth_error) + γ·flow_consistency ↓ GRPO: policy gradient with KL constraint → updated diffusion weights

Key Claims

01 4D geometry reward가 explicit 3D supervision 없이 3D consistency를 개선한다
02 GRPO가 LLM뿐 아니라 video diffusion model에도 적용 가능하다
03 Novel view synthesis quality가 SSIM 기준 15–20% 개선된다

Paper vs Our Setting

원 논문은 general scene의 multi-view (4+) generation을 대상으로 한다. 우리는 robotics dual-view (ego+wrist) 세팅에 맞게 핵심 컴포넌트를 교체한다.

Aspect	Paper (VGGRPO)	Our Version
Base model	SV4D (multi-view)	Wan2.1-T2V-1.3B (single→dual-view)
4D Recon	DUSt3R / MASt3R	Any4D (DINOv2 + DPT)
Connector	Not specified	Conv3d k=5 s=(1,2,2) 2.05M params
Domain	General scenes	Robotics (DROID ego+wrist)
GRPO base	Custom implementation	Flow-GRPO (existing, LoRA r=32)
Views	4+ multi-view	2-view (ego+wrist)

Why Any4D instead of DUSt3R?

DUSt3R는 multi-view input을 요구하지만, 로봇 세팅에서는 ego+wrist 2 view만 존재한다. Any4D는 단일 비디오에서 4D 복원이 가능하며, DINOv2 backbone이 로봇 장면에서 검증되어 있다.

01 Any4D는 단일 비디오에서 4D reconstruction 가능 (DUSt3R는 multi-view 필수)
02 로봇 도메인에서 ego+wrist 2 view만으로 동작해야 하는 제약
03 Any4D의 DINOv2 backbone이 로봇 장면에서 사전 검증됨

Why Flow-GRPO?

Wan2.1 네이티브 GRPO 지원으로 reward function 교체만으로 VGGRPO 통합이 가능하다. 별도 GRPO 구현 불필요.

01 Wan2.1 네이티브 GRPO 지원 (SDE↔ODE 변환, LoRA)
02 Reward function 교체만으로 VGGRPO 통합 가능
03 KL divergence constraint로 mode collapse 방지 (β=0.004, clip ε=1e-3)

Depth Scale Alignment

Euler Pose Format

2-view View Limitation

Gap Domain Shift

Details

01 Depth ambiguity: Any4D outputs relative depth; DROID provides metric depth → scale alignment 필요
02 Pose format: DROID uses Euler XYZ extrinsic, not axis-angle — Phase 0에서 발견된 문제
03 2-view limitation: Paper uses 4+ views for robust 3D; 2 views may be insufficient for accurate geometry
04 Domain gap: Any4D trained on general scenes; robot workspace has repetitive textures, small objects

Q1 2 view에서의 4D reconstruction quality가 reward signal로 충분한가?
Q2 Pseudo-label (Any4D predicted) vs GT (DROID measured) depth/pose — 어느 것이 LGM 학습에 적합한가?
Q3 GRPO가 video diffusion의 temporal consistency도 개선하는가, 아니면 per-frame 3D만 개선하는가?
Q4 EgoExo4D 데이터셋이 DROID보다 적합한가? (더 다양한 viewpoint)

VGGRPO — An et al., arXiv 2603.26599 (Google, U Copenhagen, Oxford)

Towards World-Consistent Video Generation with 4D Latent Reward. 본 연구의 source paper.

Any4D

Feed-forward 4D reconstruction (DINOv2 + DPT). DUSt3R 대체로 채택.

Flow-GRPO — github.com/yifan123/flow_grpo

Wan native GRPO implementation. GRPO optimization backbone으로 사용.

DUSt3R — Wang et al., CVPR 2024

Dense 3D reconstruction from stereo. 원 논문의 4D reconstruction backbone.

DROID — Khazatsky et al., RSS 2024

Robot manipulation dual-view dataset. 학습 데이터셋으로 활용.

Wan2.1 — arXiv 2503.20314

Video diffusion model (flow matching). Base video generator.

VGGRPO: 4D Geometry Reward for Video Diffusion

Research Question

Source Paper: VGGRPO

Architecture Pipeline

Key Claims

Our Adaptation for Robotics

Technical Decisions with Rationale

Technical Challenges

Details

Open Questions

References