DreamData Research — Video Diffusion for Robot Simulation Multi-View Generation

Can Video Diffusion Generate Multi-View Robot Sim Data?

로봇 시뮬레이션 환경(RoboCasa)에서 수집한 multi-view 비디오(left | right | wrist)를 video diffusion model(Wan2.1-14B)로 생성할 수 있는가? 단일 모델이 horizontal concat된 multi-view 프레임에서 view consistency를 학습할 수 있는가? 최적의 학습 프레임워크와 전략은 무엇인가?

video diffusion multi-view generation horizontal concat LoRA fine-tuning Wan2.1-14B

Codebase Evaluation: 4 Candidates

Wan 모델을 fine-tuning할 수 있는 4개 프레임워크를 코드 수준에서 비교 분석. 각 프레임워크의 Wan 지원 수준, 학습 방식, 메모리 효율성, 생태계 성숙도를 평가.

Framework	Wan Support	Training	Memory	Maturity	Verdict
DiffSynth-Studio	33 LoRA scripts, Wan2.2 포함	SFT + distillation	4-stage offload	ModelScope 지원	no
Finetrainers v0.2.0	T2V, I2V, Control	LoRA + full FT	group_offload, compile	HF 공식	chosen
Diffusers Training	Community scripts	LoRA	Standard	HF 공식	no
CogVideoX-Factory	CogVideo 중심	SFT	—	SAT 기반	no

Selection Rationale

01 Multi-resolution 학습: Bucket 기반 배치 구성 지원. Horizontal concat으로 인한 비표준 해상도(e.g., 480x1920)에서 별도 패딩 없이 학습 가능.
02 B200 GPU 호환: PyTorch 2.12+ 기반, SDPA attention으로 Ampere/Hopper/Blackwell 전 세대 지원. torch.compile 가능.
03 HuggingFace 생태계: Diffusers pipeline을 직접 사용하므로 inference 시 별도 변환 불필요. Accelerate 기반 분산 학습.
04 LoRA + Full FT: 두 방식 모두 지원. LoRA로 시작하고, 필요 시 full fine-tuning으로 전환 가능.

Why NOT DiffSynth-Studio?

Wan 스크립트 수(33개)는 가장 많지만, 자체 Pipeline/Scheduler 래퍼를 사용하여 Diffusers와 호환 불가. 커스텀 디버깅 시 두 개의 추상 레이어를 동시에 이해해야 함. ModelScope 의존도 높아 HuggingFace 기반 워크플로우와 충돌.

Diffusion Transformer + Flow Matching

14B Parameters

16 VAE z_dim

4096 Text Enc Dim

1000 Scheduler Steps

Component Stack

Text: UMT5-XXL (4096 dim) Encoder: Wan-VAE (3D Causal, z_dim=16, spatiotemporal compression) Backbone: DiT (Diffusion Transformer) Loss: Flow Matching Schedule: FlowMatchEulerDiscrete (shift=5.0)

Decision	Choice	Alternative	Rationale
View Concat	Horizontal (L\|R\|W)	Separate models per view	단일 모델로 view consistency 유도, 학습 비용 1/3
Base Model	Wan2.1-T2V-14B	Wan2.1-1.3B, CogVideoX	14B가 복잡한 로봇 동작 표현에 충분한 capacity 제공. 1.3B는 multi-view concat에서 품질 저하
Training	LoRA	Full fine-tuning	GPU 비용 절약, base model weights 보존. 추후 full FT 전환 가능
Data Source	RoboCasa MimicGen	DROID real data	시뮬레이션 데이터로 무제한 생성 가능, 카메라 intrinsic/extrinsic 파라미터 정확
Preprocessing	v2 (task-balanced + motion crop)	v1 (random sampling)	v1에서 정적 장면 편향 및 동작 다양성 부족 문제 발생

RoboCasa MimicGen → Finetrainers Format

RoboCasa Sim
Multi-camera recording
left | right | wrist

→

Preprocessing v2
Task-balanced sampling
+ motion-aware crop

→

Horizontal Concat
3-view → single frame
non-standard aspect ratio

→

Finetrainers Bucket
Multi-resolution batching
no padding waste

Wan2.1 — arxiv 2503.20314

Video diffusion model (DiT + Flow Matching). T2V/I2V 14B/1.3B variants. Base model for DreamData generation.

Finetrainers — HuggingFace Official, v0.2.0

Video model fine-tuning library. LoRA + full FT, multi-resolution bucket training, group offload.

RoboCasa — Nasiriany et al., RSS 2024

Large-scale simulation framework for robot manipulation in household environments. 학습 데이터 소스.

MimicGen — Mandlekar et al., CoRL 2023

Automated demonstration generation from small human datasets. RoboCasa와 결합하여 대규모 데이터셋 구축.

Q1 Horizontal concat이 실제로 view consistency를 학습하는가? 아니면 3개 view를 독립적으로 생성하는가? Ablation 필요.
Q2 I2V (첫 프레임 조건부 생성)가 T2V 대비 temporal coherence 및 동작 정확도에서 얼마나 차이를 보이는가?
Q3 시뮬레이션에서 학습한 video diffusion model이 실제 로봇 환경으로 transfer 가능한가? Sim-to-real gap의 규모는?
Q4 LoRA rank/alpha 최적값은? 현재 default 사용 중이며, rank sweep 실험이 필요.

DreamData: Video Diffusion for Robot Sim

Research Question

Framework Comparison

Why Finetrainers?

Why NOT DiffSynth-Studio?

Wan2.1 Architecture

Component Stack

Technical Decisions

Data Pipeline

Related Work

Open Questions