260406-260412 · 8×B200 · 2-Phase LoRA on Wan 2.2
지난 주 수정한 81f training collapse fix가 장기 학습(>2일)에서 재발 없이 안정적으로 동작하는지 확인하고, Phase 1 → Phase 2 expert swap이 검증 루프에서 정상 동작함을 보이는 것이 이번 주 SLURM 작업의 핵심 목표였다.
| Param | Value | 근거 |
|---|---|---|
| Base model | Wan 2.2 (dual expert) | 2.1 대비 high/low noise expert 분리 가능 |
| Frames | 81 (≈ T_lat 21) | temporal consistency 확보 |
| Phase | 2 (low-noise expert) | Phase 1 완료 후 expert swap |
| GPUs | 8 × B200 (worker-4) | own quota 최대 |
| Script | scripts/final_train_81.sh | — |
| Job ID | State | Elapsed | Period | Note |
|---|---|---|---|---|
| 31765 | CANCELLED | 2d 14:58 | 04-04 22:56 → 04-07 13:55 | by user (과거 phase 학습 마무리) |
| 36460 | CANCELLED | 00:00 | 04-06 15:02 | cascade cancellation |
| 36495 | PREEMPTED | 04:01 | 04-06 16:27 → 20:28 | worker-4 점유 경합 |
| 37395 | CANCELLED | 00:00 | 04-07 13:56 | — |
| 37396 | CANCELLED | 00:00 | 04-07 13:56 | — |
| 37397 | CANCELLED | 02:14 | 04-07 13:56 → 16:11 | — |
| 37398 | CANCELLED | 2d 10:17 | 04-07 14:04 → 04-10 00:21 | 장기 Phase 2 학습 (사용자 종료) |
| 37605 | CANCELLED | 00:00 | 04-07 16:12 | — |
| 37606 | CANCELLED | 00:56 | 04-07 16:12 → 17:08 | — |
| 37649 | PREEMPTED | 1d 00:23 | 04-07 17:09 → 04-08 17:32 | — |
| 38197 | CANCELLED | 00:00 | 04-10 00:21 | — |
| 38813 | CANCELLED | 3d 12:37 | 04-10 00:21 → 04-13 12:59 | 37398 후속, 가장 긴 단일 run |
| 38814 | PREEMPTED | 02:49 | 04-10 13:13 → 16:03 | worker 점유 경합 |
실행 명령: PHASE=2 scripts/final_train_81.sh (8GPU)