Wan2.2 부진 원인

TL;DR

"81f collapse"는 NaN이 아니었음: scene_name 버그로 전 샘플이 latent 캐시 1개 공유 → Phase 1 loss 0.0111→0.0001. 3/25~4/7 학습 약 2주가 단일 샘플 암기.
fix 후에도 81f loss 평탄: Wan2.2 Phase 2 0.128→0.120→0.128 (14k step), Wan2.1 대조군 0.104→0.097 (17.6k). 49f Wan2.2는 0.130→0.104로 감소.
실제 lr은 모든 run에서 1e-4 (폴더명 lr_3e-5와 다름), rank 256. ~5k step 이후 grad_norm 0.03→0.065.
정량 평가 없음. 4/8·4/13 자동 리포트에 로그와 다른 서술이 있음.

0.0001

버그 run P1 loss

0.128

fix 후 P2 loss @14k

0.098

Wan2.1 81f @17k

NaN 발생

1 배경 / 목적

EgoX_wan2.2 결과가 기대보다 안 나왔다는 기억만 남아 있고 원인이 정리돼 있지 않았다. 기존 자동 리포트(260408-analysis, 260413-*)를 원본 slurm 로그와 대조해 실제 경과를 재구성했다.

2 작업 내용

로그: slurms/*.out의 tqdm 라인(step, grad_norm, loss, lr) 파싱 → run별 2000-step 구간 평균 코드: fix.md(DiffSynth 대비 8건) 반영 여부 grep, commit 0597846 wan_dataset.py diff 영상: compare_original_vs_wan21_81f, validate_81f_p1_17k_p2_11k 프레임 확인

3 결과

3-1. 버그 run (캐시 공유) — 단일 샘플 암기

Run	Phase 1 loss	Phase 2 loss
81f	0.0111 → 0.0001 (21.6k)	0.0317 → 0.0022 (10k)
81f_lr_3e-5	0.0142 → 0.0002 (11k)	0.0443 → 0.0021 (10k)
81f_4k	0.0123 → 0.0002 (5.9k)	0.0249 → 0.0039 (2.8k)

원인: scene_name = str(exo_video).split('/')[-5] # 49f 경로 기준 81f 경로 .../videos/{take}/exo.mp4 에서는 [-5]가 공통 상위 폴더 → 모든 샘플이 같은 캐시 파일 fix (0597846): parts[-2] 사용

3-2. 정상 데이터 run 비교

Run	Phase 1	Phase 2 / 전체	추세
Wan2.2 49f (3/17~3/25)	0.040 → 0.0185	0.130 → 0.104	감소
Wan2.2 81f fix 후 (4/7~4/10)	0.0415 → 0.033~0.037	0.128 → 0.120 → 0.128	평탄, P2 반등
Wan2.1 81f 대조 (job 38813)	전 구간: 0.104 → 0.091 → 0.098		평탄

LR: 폴더명은 lr_3e-5지만 로그상 모든 run이 lr=0.0001, rank/alpha 256. 81f 두 run 모두 ~5k step 이후 grad_norm이 0.03에서 0.065~0.07로 오른 뒤 유지됨.

설정 정렬은 완료: fix.md 전 항목 반영 (shift 5, expert 분리, BSMNTW, FFN LoRA, VAE mode). 학습 boundary 0.358은 shift 5에서 sigma 0.9로, inference switch 0.9와 일치.

기존 리포트 오류: 4/8 "grad 10x 폭주 → NaN, loss 1.3→0.8" — 로그에 NaN 0건, loss 스케일 0.0001~0.13. 4/13 "38813 = 37398 후속 Phase 2" — 실제 헤더는 EgoX Training (81f, Wan2.1).

정성: Original EgoX와 Wan2.1-81f 모두 일부 val 샘플에서 ego 시점이 GT와 어긋남. Wan2.2 81f(p1 17k/p2 11k) sample_0은 손이 붉게 뭉개지고 색이 과포화됨.

4 Takeaway

의미

1차 원인은 Wan 2.2가 아니라 파이프라인 버그로 81f 학습 2주가 무효가 된 것이다. 버그 수정 후에는 Wan2.2와 Wan2.1이 81f에서 똑같이 평탄하므로, base model보다는 81f/100k 데이터 세팅 또는 lr 1e-4 × rank 256 쪽을 의심해야 한다. 단, flow-matching loss는 원래 평탄해 보이기 쉬워서 정량 평가 없이는 단정할 수 없다.

5 Next Steps

정량 평가

같은 val set에서 Original EgoX / Wan2.1-81f-17k / Wan2.2-81f(p1 17k, p2 14k)를 PSNR·LPIPS·FVD와 ego 시점 오차로 비교.

LR ablation

1e-4 → 3e-5, 또는 rank 32 + 1e-4. 가설: grad_norm 2배 증가와 Phase 2 loss 반등은 lr 과대 때문.

요인 분리

49f에서 Wan2.2 vs Wan2.1을 동일 조건으로 비교해 base model 효과와 81f 데이터 효과를 분리.

EgoX_wan2.2 성능 부진 원인 재분석