EgoX_wan2.2_long — Progress Report

왜 Long Video Extension인가

EgoX (arXiv 2512.08269)는 단일 exocentric(3인칭) 비디오에서 egocentric(1인칭) 비디오를 생성하는 video diffusion 모델이다. 기존 EgoX는 Wan 2.1 기반으로 비교적 짧은 비디오만 생성 가능했으며, 실제 egocentric 데이터의 활용 시나리오(로봇 학습, VR 콘텐츠 등)에서 요구되는 긴 시퀀스 생성에 한계가 있었다.

이 프로젝트는 두 가지 확장을 목표로 한다: (1) base model을 Wan 2.2로 업그레이드하여 비디오 품질 향상, (2) long video generation pipeline 구축으로 실용적 길이의 egocentric 비디오 생성. Ego + wrist view의 dual expert 학습을 통해 manipulation task에 특화된 egocentric 데이터 생성도 시도하고 있다.

Project Overview

EgoX_wan2.2_long dormant

EgoX를 Wan 2.2 기반으로 확장하여 더 긴 egocentric 비디오를 생성하는 프로젝트. Base paper: EgoX (arXiv 2512.08269) — egocentric video generation from single exocentric video.

9 Total Commits

6 Key Scripts

Mar 10 Last Commit

~30d Inactive

Git Commit Timeline (2026)

Mar 10

Update long video

9fdf39c 16 files changed, +2272/-58

Mar 9

Update

ff09e54 3 files changed, +176/-177

Mar 5

Update readme & Multi-GPU support

27e9c23 d9d0a68 4363cfd readme (+174 lines), multi-GPU (4 files, +110/-6)

Mar 4

Fixed to train both expert (ego + wrist)

52ffe60 5 files changed, +553/-87

Mar 3

Add train script, validation, Wan 2.2 update

601f8a7 0fc082b 4e847f0 train (+111), validation (6 files, +748/-4), wan2.2 (13 files, +609/-84)

Key Scripts

$train_long.sh

$train_long_multigpu.sh

$validate.sh

$infer_long.sh

$infer_ego4d.sh

$infer_itw.sh

Key Progress

Development Timeline Summary

Phase 1 Wan 2.2 Migration Mar 3

Wan 2.1에서 2.2로 base model 교체. 13개 파일 변경, 609 lines 추가. 모델 아키텍처 및 inference pipeline 전면 재작업.

Phase 2 Training & Validation Pipeline Mar 3~4

학습 스크립트 추가 (train_long.sh), validation pipeline 구축 (6 files, +748 lines). Ego + wrist dual expert 학습 지원.

Phase 3 Multi-GPU & Long Video Mar 5~10

Multi-GPU 학습 지원 (train_long_multigpu.sh). Long video generation pipeline 구현 (+2272 lines). 가장 큰 규모의 변경.

Critical Assessment

주요 우려 사항

정량적 결과 부재 — 9개의 커밋이 모두 코드 변경에 집중되어 있으며, 학습 결과나 생성 품질에 대한 정량적 기록이 전혀 없다. Loss curve, FID, PSNR 등의 metrics가 문서화되지 않았다.
약 30일간 비활성 — 마지막 커밋(Mar 10) 이후 약 한 달간 commit 활동이 없다. 프로젝트가 일시 중단된 상태인지, 실험이 진행 중이나 기록되지 않는 것인지 불분명하다.
claude/*.md 작업 문서 없음 — 작업 로그, 실험 기록, 연구 노트가 전혀 없어 프로젝트의 현재 상태와 의사결정 맥락을 파악하기 어렵다. Git 커밋 메시지도 대부분 "Update"로 정보량이 낮다.
커밋 메시지 품질 — "Update", "Update long video" 등 변경 사항의 의도를 파악하기 어려운 메시지가 다수. 코드 리뷰 및 추후 추적에 장애가 된다.
Wan 2.1 대비 비교 없음 — Wan 2.2 마이그레이션의 효과를 정량적으로 비교한 기록이 없다. 업그레이드가 실질적 품질 향상을 가져왔는지 검증되지 않았다.

Data Source Limitation notice

이 리포트는 Git 커밋 이력만을 기반으로 작성되었다. claude/*.md 작업 문서, SLURM 작업 이력, 실험 결과 파일이 존재하지 않아 프로젝트의 실제 진행 상황이 과소 보고되었을 가능성이 있다. 2개의 Claude 세션(Apr 8, Mar 24)이 감지되었으나 세션 내용은 이 리포트에 반영되지 않았다.

Next Steps

권장 조치

작업 로그 체계 구축 — claude/plan.md에 프로젝트 로드맵을 작성하고, 실험 수행 시 claude/YYMMDD-*.md에 정량적 결과를 기록할 것. 이를 통해 향후 progress report의 정보 밀도를 높일 수 있다.
Wan 2.1 vs 2.2 비교 실험 — 동일 조건에서 두 버전의 생성 결과를 정량적으로 비교 (FID, FVD, PSNR 등). 마이그레이션의 효과를 검증해야 한다.
Long video quality 평가 — Long video pipeline의 temporal consistency, transition artifact 여부를 체계적으로 평가. 특히 sliding window 경계에서의 시각적 일관성 확인 필요.
Dual expert 학습 결과 분석 — Ego view와 wrist view 각각의 생성 품질, 그리고 두 expert 간 일관성 평가.
EgoExo4D / Ego4D 데이터셋 실험 — In-the-wild inference 결과 수집 및 정성적/정량적 평가. infer_ego4d.sh, infer_itw.sh 활용.

Research Context

Project Positioning

EgoX는 exocentric-to-egocentric video generation이라는 비교적 새로운 태스크를 다루는 연구이다. 단일 3인칭 비디오에서 1인칭 시점 비디오를 생성하는 것으로, 로봇 학습(robot learning)에서 exocentric demonstration으로부터 egocentric policy data를 합성하는 데 직접적으로 활용 가능하다.

이 wan2.2_long variant는 실용적 활용을 위한 핵심 확장이다. 짧은 클립이 아닌 긴 시퀀스의 egocentric 비디오를 생성함으로써:

Manipulation task의 전체 episode를 커버하는 synthetic ego data 생성 가능
VLA (Vision-Language-Action) 모델의 학습 데이터로 활용 시 temporal context 보존
Wan 2.2의 개선된 video quality가 downstream task 성능에 미치는 영향 검증

연구 관심 분야와의 관련성: Physical AI, Robot Learning, Synthetic Dataset Generation에 직접 연결. VLA finetuning을 위한 egocentric 데이터 생성 파이프라인으로서의 잠재적 가치가 높다.

Motivation