ZW w/o pretrain 50K 재평가

TL;DR

50K는 32K보다 낮다: ICL 27.00 → 22.57(−4.43pp, p≈0.055), lang 20.67 → 17.57(−3.10pp).
성공률이 0이 아닌 12개 (태스크, 모드) 비교가 전부 하락했다.
재현 격차(논문 36.36)의 원인은 스텝 부족이 아니다. 50K에서는 격차가 −9.29 → −13.79pp로 벌어진다.
추론 시 demo 기여는 +6.33 → +5.00pp로 유지되고, 태스크별 부호 패턴도 같다.

22.57

ICL 50K

27.00

ICL 32K

17.57

lang 50K

+5.00

demo 기여 50K

1 배경 / 목적

자체 ZW w/o pretrain(ICL 27.00%)은 논문(36.36%)보다 9.29pp 낮다. 공개 recipe는 num_steps=50000인데 우리는 32000만 돌렸으므로, 9/29 종합에서는 스텝 부족을 가장 유력한 원인으로 꼽았다. 이 실험은 50K까지 채워 그 가설을 직접 검증한다.

2 작업 내용

job 163512: checkpoint_step_32000에서 50K까지 이어 학습(own 8 GPU, 11:53). weight만 복원해 Adam 상태는 초기화되고 warmup 200이 다시 돌았다.
버그 50000은 save_interval 4000의 배수가 아니라 마지막 저장이 48000에서 멈췄다. wan_va/train.py에 학습 루프 뒤 최종 저장을 추가하고, 48000→50000을 다시 학습했다(job 165390, 1:20). 로그에서 최종 저장을 확인했다.
평가: ICL은 job 165391(own 7 GPU, 25:20). lang은 extra로 돌다 5회 preempt돼 태스크별 1 GPU job + START_SEED 이어받기로 채웠다. 마지막 2개 태스크는 own으로 옮겼다.

이어 학습할 때마다 Adam이 초기화됐다(32K, 48K 두 번). 처음부터 끊김 없이 50K를 돌린 것과 완전히 같지는 않다.

3 결과

task	ICL 32K	ICL 50K	lang 32K	lang 50K	Δdemo 32K	Δdemo 50K
stamp_seal	47	45	30	25	+17	+20
move_stapler_pad	40	36	52	50	-12	-14
place_bread_basket	37	30	31	30	+6	+0
place_empty_cup	28	21	10	5	+18	+16
open_microwave	21	16	8.70	3	+12.3	+13
place_object_scale	16	10	13	10	+3	+0
stack_blocks_three	0	0	0	0	+0	+0
macro	27.00	22.57	20.67	17.57	+6.33	+5.00

lang 32K의 open_microwave만 n=92이고 나머지는 전부 n=100이다. 태스크당 SE는 약 ±4~5pp다. 0이 아닌 12개 비교가 전부 음수인 것의 부호검정 p는 약 0.0005지만, 두 모드가 같은 모델이라 독립 가정은 느슨하다.

4 Takeaway

스텝 부족 가설 기각: 공식 스텝을 채우면 논문과의 격차가 오히려 −13.79pp로 커진다.

demo 사용 방식은 그대로다: Δdemo가 양수인 태스크(stamp/cup/microwave)와 음수인 태스크(stapler)가 32K와 같다. 정책의 전체 수준만 내려갔다.

해석

남은 후보는 둘이다. (1) 과적합: 학습 샘플이 2,149개뿐이라 32K에서 이미 샘플당 약 119회, 50K에서는 약 186회 반복한다. (2) 재시작 아티팩트: Adam 초기화가 두 번 들어갔다. 논문 w/o pretrain이 어떤 데이터 구성(packing, 서브샘플)과 스텝으로 학습됐는지는 공개되지 않았다.

5 Next

실험	가르는 질문	비용
36K/40K/44K/48K ckpt ICL 평가	과적합(단조 감소) vs 재시작 아티팩트(36K에서만 꺾임)	재학습 없음, 태스크별 1 GPU own
공개 posttrain ckpt 7태스크 재현	격차가 학습 쪽인지 평가 쪽인지	재학습 없음

운영: 긴 평가는 own으로 넣고, 한 job에 여러 태스크를 묶지 않는다. 묶으면 먼저 끝난 태스크의 GPU가 job 종료까지 유휴로 남는다(165391에서 최대 6장).