DreamData 진행 리포트

RoboCasa 시뮬레이션의 multi-view 비디오(left/right/wrist 3개 뷰)를 가로 concat하여 하나의 비디오로 구성한 뒤, Wan2.1 T2V 모델에 LoRA fine-tuning을 수행한다. 목표는 로봇 동작의 multi-view consistent 비디오 생성 모델을 만드는 것이다. 단일 뷰 생성은 이미 가능하지만, 3개 뷰 간 시점 일관성을 유지하면서 동시에 생성하는 것이 핵심 도전 과제다.

Key Progress

Apr 3 - 8 타임라인 high activity

Apr 3 코드베이스 선정
4개 프레임워크 비교: DiffSynth-Studio, Finetrainers, Diffusers, CogVideoX-Factory. Finetrainers v0.2.0 선택 — LoRA/full fine-tuning, multi-resolution, B200 호환, Wan2.1 공식 지원.
Apr 6 데이터 전처리 v1 → v2
v1 문제 발견: 로봇 동작이 압축되어 다양성 부족. v2: 태스크별 균등 샘플링 + 동작 구간만 crop. 480p, 33 frames.
Apr 6 RoboCasa Split 분석
MimicGen 체계 분석. atomic 태스크당 최대 10K 합성 데모. filter_key로 train/valid 분리.
Apr 7 I2V 파이프라인 추가 계획
T2V 외에 첫 프레임 조건부 Image-to-Video 추가. WanImageToVideoPipeline 활용 예정.
Apr 7 Initial Commit
241 files, +31,441 lines. 전체 파이프라인 코드 통합.

Activity Heatmap

Thu

프레임워크 비교 분석

Fri

초기 학습 실험

Sat

장기 학습 완료 2건, 데이터 v2

Sun

Initial commit, I2V 계획

Mon

6개 병렬 학습 실행 중

Commits SLURM Jobs Docs/Analysis

SLURM 현황

~30 Total Jobs

6 Running

2 Long Jobs Done

80h+ GPU Hours

Job Status Distribution

RUNNING x6 COMPLETED (장기 2건: 1d3h, 1d4h) PREEMPTED (extra QOS)

장기 학습 완료

기간	소요	상태	비고
Apr 5-6	1d 3h	COMPLETED	T2V LoRA 학습 (early config)
Apr 5-6	1d 4h	COMPLETED	T2V LoRA 학습 (data v1)

현재 6개 작업 동시 실행 중 — estimated 80h+ total GPU time

Git

Commits

initial Initial commit: 전체 파이프라인 코드 Apr 7

241 files changed, +31,441 insertions

Data Pipeline

RoboCasa Multi-view Dataset

MimicGen 기반 합성 데모, multi-view concat (left + right + wrist)

전처리 버전 비교

Version	방식	해상도	프레임	문제점/개선
v1	전체 에피소드 균등 샘플	480p	33	동작 압축, 다양성 부족
v2	태스크별 균등 + 동작 구간 crop	480p	33	다양성 개선

RoboCasa Split 분석

MimicGen atomic 태스크당 최대 10K 합성 데모
filter_key train/valid 분리 체계

Critical Assessment

Strengths

체계적 프레임워크 비교: 4종(DiffSynth, Finetrainers, Diffusers, CogVideoX-Factory) 상세 비교 후 기술적 근거 기반 선택
빠른 데이터 이터레이션: v1 문제를 발견하고 v2로 즉시 전환. 동작 구간 crop + 태스크 균등 샘플링으로 다양성 확보
대규모 병렬 학습: 6개 동시 실행으로 하이퍼파라미터 탐색 효율화

Weaknesses

Multi-view concat 한계: 가로 concat 방식은 view 간 geometric consistency를 모델이 암묵적으로 학습해야 함. 보장 없음
정량 평가 미실시: 아직 FVD, multi-view consistency 등 정량 메트릭 없이 학습만 진행 중
I2V 미착수: Image-to-Video 파이프라인은 계획 단계에 머물러 있음

전체 진행률

T2V LoRA Fine-tuning 학습 진행 중

I2V Pipeline 계획 단계

정량 평가 미착수

데이터 파이프라인 v2 완료

Next Steps

P1 T2V LoRA 학습 완료 후 생성 품질 평가 (FVD, multi-view consistency metric)
P1 I2V 파이프라인 구현 (WanImageToVideoPipeline 기반)
P2 Multi-view consistency 정량 지표 설계 — view 간 geometric alignment 측정
P2 데이터 v2 학습 결과 vs v1 비교 분석
P3 Concat 대안 탐색: multi-view attention, cross-view conditioning 등

DreamData Progress

Motivation