ZW w/o pretrain 50K 이어 학습 — 체크포인트 저장 버그와 tail 재학습

TL;DR

공개 recipe num_steps=50000 대비 부족했던 32K(64%)를 50K까지 이어 학습: 11h53m, COMPLETED.
버그: 50000 % 4000 ≠ 0 인데 train.py가 루프 안에서만 저장 → 마지막 체크포인트 48000 (48000→50000, 약 78분 weight 미저장).
수정: 루프 뒤 step % save_interval != 0이면 최종 저장. 2K tail 재학습 후 50000으로 평가.

11h53m

학습 시간 (8 GPU)

48000

마지막 저장 step

27.00%

32K ICL macro

36.36%

논문 목표

1배경/목적 (왜)

자체 ZW w/o pretrain ICL 27.00%는 논문 36.36%보다 −9.29pp 낮다. 가장 유력한 원인은 학습 step: 공개 recipe는 num_steps=50000, 우리는 NUM_STEPS=32000(64%). 50K까지 채워 재평가하면 이 원인을 직접 검증할 수 있다.

2작업 내용 (어떻게)

job 163512 zw_wopre50k : own 8 GPU, sbmr 5, NUM_STEPS=50000 bash script/train_zerowam_wopretrain.sh - checkpoint_step_32000에서 weight만 복원 (Adam 상태 초기화, warmup 200 재실행) - 2026-09-29 04:29:51 → 16:22:51 UTC (11:53:00), COMPLETED job 165390 zw_wopre50k_tail : own 8 GPU, 48000 자동 resume → 50000 저장 job 165391 zw50k_eval_icl : own 7 GPU, afterok:165390, isaac-lab, 7태스크 x 100ep, seed 0 job 165392 zw50k_eval_lang : extra 7 GPU, afterok:165390 (preempt 가능)

저장 버그: 50000 % SAVE_INTERVAL(4000) ≠ 0, 저장이 루프 안에만 있어 step 50000 weight가 저장되지 않음. 제출 전 SAVE_INTERVAL 미확인이 원인.

수정: wan_va/train.py 학습 루프 뒤에 step % save_interval != 0이면 최종 저장 추가. save_checkpoint가 collective라 모든 rank에서 호출한다. 사용자 결정으로 2K를 다시 학습한다(Adam 초기화·warmup이 한 번 더 들어가 연속 50K와 완전히 같지는 않음).

3결과 (수치)

지표 (tqdm 순간값)	32K 종료	50K 종료
latent loss	0.106	0.089
action loss	0.0052	0.0073
mcp	0.181	0.178
grad_norm	0.05~0.07 안정, 2.33~2.36 s/it

체크포인트 36000/40000/44000/48000 저장 완료(각 22 GB). 50000은 165390이 생성. 평가 SR: 대기 중.

4Takeaway

순간 loss는 노이즈가 커서(action 0.0052→0.0073 소폭 증가) 32K→50K 수렴 여부 판단 근거가 되지 못한다. 결론은 평가 SR로 낸다.

ICL SR이 36% 근처로 오르면 격차는 step 부족으로 설명된다. 27% 근처면 에피소드 서브샘플, 해상도(224x288 vs 256x320), 시드를 봐야 한다.

5Next Steps