260406-260412 · Wan 2.2 dual-expert ego+wrist generation
EgoX를 Wan 2.2 base model로 업그레이드하여 ego-view 생성 품질을 향상시킨다. 단일 exocentric 비디오에서 ego + wrist 뷰 비디오를 동시 생성하는 diffusion model. Wan 2.2의 dual expert 구조(고노이즈 / 저노이즈)를 활용한 2-Phase LoRA 학습을 핵심 차별점으로 한다. EgoExo4D 81f 데이터셋으로 temporal consistency를 강화하는 것이 이번 분기의 목표.
Why: 지난 주에 81f training collapse(scene_name 파싱 버그 → 모든 샘플이 동일 캐시 공유 → loss 발산)와 Phase 2 validation 파이프라인을 수정했고(commit 0597846, +689/-35), 이번 주는 그 수정이 실제 장기 학습에서 안정적인지를 검증하는 주였다.
How: Job 37398에서 8 GPU로 PHASE=2 학습을 04-07부터 04-10까지 약 2일 10시간 17분 연속 실행 (CANCELLED by user 후 38813으로 이어붙임). 38813은 04-10부터 04-13까지 추가로 3일 12시간 37분 연속 실행. 두 차례에 걸친 ~6일 누적 학습. Phase 1 LoRA path를 expert swap 검증과 결합한 validation 루프가 학습 중간에 트리거되도록 구성.
Result: 81f training collapse는 두 차례의 장기 학습을 거치며 재발하지 않았다 — 지난 주 수정의 효과가 실증됨. 다만 명시적인 정량 metric(loss curve / FID)이 이번 주 작업 로그에 기록되지 않았고, EgoX_wan2.2 디렉토리 내에서는 commit 활동도 0건이라 코드 변경보다는 학습 모니터링 / 결과 누적이 중심이었다. context.md만 04-09에 갱신.
Why: 8 GPU own quota를 가지고 있어도 worker-4 노드가 다른 사용자에 의해 점유되면 시작 자체가 PENDING 상태로 막힘. Phase 2 결과 누적을 위해서 자원 확보가 필수.
How: 04-07~04-10 사이 Job 36460 / 36495 / 37395~37398 / 37605 / 37606 / 37649 / 38197 등 여러 차례 submission을 시도. 일부는 cascade cancellation, 일부는 PREEMPTED, 일부는 0초에 즉시 종료. 가장 안정적으로 돌아간 건 37398 (2d10h)과 그 후속 38813 (3d12h).
Result: ~6일 누적 학습 시간 확보. Job 38814가 04-10 13:13부터 2h49m PREEMPTED → 후속 슬롯 부족으로 중간 갭 발생.
의미: Phase 2 안정성 검증 단계가 ~6일 학습으로 통과. 이제 학습 결과(ego/wrist 생성 품질)의 정량 평가로 넘어가야 한다.