EgoX_wan2.2 Progress Report

단일 Exocentric 비디오에서 Egocentric + Wrist 뷰 비디오를 동시 생성하는 diffusion 모델. Wan 2.2를 base로 VIST3A 스타일 3D decoder를 stitching하여 multi-view consistent video generation.

Flow matching 기반 Phase 분리 학습 — Phase 1: high noise region, Phase 2: low noise region으로 나누어 coarse-to-fine 학습.

이번 주 진행 사항 active

81f 모델 training collapse 원인 규명: Phase 1→2 전환 시 gradient explosion 발생 확인
안정화 적용: Gradient clipping (max_norm=1.0) + Phase 2 warmup schedule (500 steps)
Phase 2 validation 파이프라인 추가: 5K step마다 sample 생성 → FID/LPIPS 자동 측정
Auto-resume: SLURM preemption 시 최신 checkpoint에서 자동 재시작

Commit

0597846 Fix 81f training collapse + Phase 2 validation + auto-resume

+689 / -35 · 9 files changed

Training Metrics

Training Loss (Phase 2, 20K steps)

1.3

0K 5K 10K 15K 20K

0.8

안정적 수렴 확인 — gradient clipping + warmup 적용 후 collapse 미발생

1.3→0.8 Loss (Phase 2)

20K Steps

~95 Total SLURM Jobs

50h+ GPU This Week

Status

2 jobs running ego view fixed phase 2 stable

현재 실행 중: Job A (24h+), Job B (22h+) — B200 8GPU FSDP

Key Fixes

Ego 뷰 검정 문제 해결: Phase 2 noise schedule 수정으로 black frame 현상 제거
Training collapse 방지: Phase 전환 시 gradient explosion을 clipping + warmup으로 해소

Wrist 뷰 temporal consistency — ego 뷰 대비 낮은 temporal consistency. Attention masking 구조 개선 필요. Cross-view attention에서 wrist branch의 temporal token 처리 방식 재검토.

B200 8GPU FSDP gradient sync overhead — FSDP all-gather/reduce-scatter 통신 비용이 전체 step time의 ~15% 차지. Gradient accumulation 또는 communication overlap 최적화 검토.

EgoExo4D 데이터셋 전환 검토 중 — 현재 사용 중인 데이터셋 대비 ego-exo pair의 다양성 및 annotation 품질 비교 진행 중.

Wrist 뷰 attention masking 개선 실험 설계 및 실행
FSDP gradient sync overhead 프로파일링 (torch.profiler)
EgoExo4D 데이터셋 pilot 실험 (소규모 subset으로 비교)
Phase 2 validation 결과 기반 hyperparameter sweep (noise schedule, lr)

EgoX_wan2.2

Research Goal

Key Progress

Commit

Results

Training Loss (Phase 2, 20K steps)

Status

Key Fixes

Open Issues

Next Steps