checkpoint_step_32000을 language-only(job 129436)와 ICL/human-demo(job 130258)로 각각 평가 — macro 20.67% → 26.81%, 추론 시 demo의 순 기여 Δ=+6.14pp를 모델 고정 상태에서 처음 분리place_empty_cup +18.0, stamp_seal +17.0, open_microwave +10.9)는 모두 타깃 asset이 train 43에 없는 태스크move_stapler_pad는 Δ=−12.0pp — 타깃이 train 43에 있는 태스크에서 demo가 오히려 성능을 깎음논문에는 이 w/o pretrain 모델의 ICL 모드 수치(36.36%, main.tex:1084-1091)만 있고, 같은 모델을 human demo 없이(language-only) 돌린 수치는 없다 — 논문에 없는 질문이었다.
더 근본적인 동기는 2026-09-17 방법론 정정(260917-eval_criteria_and_icl_relabel)에서 나왔다: 논문의 Δ video = Zero-WAM(46.95) − text-only(39.44) = +7.51pp는 학습 단계부터 human-video condition을 마스킹한 별도 모델과의 비교였다 — "추론 시 demo 하나만의 순수 기여"가 아니라 "ICL 경로 전체(학습+추론)의 기여"였다. 즉 논문 수치만으로는 추론 시 demo 기여를 분리할 수 없었다.
모델: ~/checkpoints/zero_wam/robotwin_wopretrain/checkpoints/checkpoint_step_32000 (Wan2.2-TI2V-5B init → RoboTwin 43 seen-task ICL 데이터로 32,000 step, 8 GPU, 20:52:26 — 학습 상세는 260916 카드).
job 130258은 실행 도중(13:03:16) 다른 세션이 취소했다 — GPU 한도를 비워 이어 돌리기/대조군 job을 넣기 위한 의도적 조치. 그 결과 7개 중 5개는 100 episode를 채웠고, open_microwave 56개, stack_blocks_three 59개에서 중단됐다. 병합 스크립트(tmp/add_own_wopretrain.py)를 수정해 이어 돌리기가 만드는 stseed-* 구간을 태스크별로 합산하도록 했다(기존에는 구간이 2개 이상이면 중단하는 방어 로직이었다). 결과는 tmp/build_robotwin_html.py로 대시보드 260909-robotwin_task_split_review 7번 섹션과 ablation 표에 반영했다.
동일 체크포인트, seed 0, Zero-WAM 수정 성공 기준.
| 태스크 | language-only | ICL (demo) | Δ | 타깃 asset이 train 43에 있나 |
|---|---|---|---|---|
| place_empty_cup | 10.00 (n=100) | 28.00 (n=100) | +18.00 | 없음 (coaster) |
| stamp_seal | 30.00 (n=100) | 47.00 (n=100) | +17.00 | 없음 (seal) |
| open_microwave | 8.70 (n=92) | 19.64 (n=56) | +10.94 | 없음 (microwave) |
| place_bread_basket | 31.00 (n=100) | 37.00 (n=100) | +6.00 | 없음 (breadbasket) |
| place_object_scale | 13.00 (n=100) | 16.00 (n=100) | +3.00 | 없음 (electronicscale) |
| stack_blocks_three | 0.00 (n=100) | 0.00 (n=59) | 0.00 | 전부 있음 |
| move_stapler_pad | 52.00 (n=100) | 40.00 (n=100) | −12.00 | 전부 있음 |
| macro | 20.67 | 26.81 | +6.14 | — |
참고 기준선: 논문 w/o pretrain(ICL) 36.36, WAN-Action 10.98, Zero-WAM 46.95, text-only ZW 39.44.
stack_blocks_three, move_stapler_pad)는 타깃이 전부 train에 있다 — grounding 보완 해석을 지지한다.move_stapler_pad는 demo가 오히려 −12pp를 깎는다. claude/260909 분석에서 관측된 place_bread_basket의 음수 Δvideo와 같은 계열의 현상이, 이번엔 같은 모델 내부에서 재현됐다 — demo가 항상 도움이 되는 조건이 아니라는 직접 증거다.open_microwave(n=56)·stack_blocks_three(n=59)는 부분 episode라 값이 확정치가 아니다.추론 시 human demo의 순 기여는 +6.14pp다 — 논문 Δvideo(+7.51pp)가 학습 효과까지 섞인 값이었다는 것을 260917에서 확인한 뒤, 이번이 같은 가중치로 낸 첫 순수 추론 기여 측정치다. 단순히 "demo가 도움이 된다"가 아니라, 그 도움의 방향이 asset 신규성과 정렬된다는 정량적 증거를 얻었다는 점이 핵심이다 — demo는 policy가 못 본 대상(microwave, coaster, seal)에 대한 grounding을 보완하는 쪽으로 작동한다.
동시에 move_stapler_pad의 역전(−12pp)은 260910 반증 가능 벤치마크 설계에서 지적한 문제 — "demo = task specification"이 항상 성립하지 않는다는 것 — 를 실증적으로 뒷받침한다. train에 이미 있는 태스크에서는 demo가 오히려 노이즈로 작용할 수 있다.
단일 시드(seed 0)라 논문의 3-seed 평균과 분산 조건이 다르다. n=100 기준 표준오차는 약 ±3~5pp — move_stapler_pad의 −12pp는 SE 밖이지만 시드 1개뿐이라 재현 확인이 필요하다. open_microwave·stack_blocks_three는 ICL 모드가 각각 n=56/59로 부분 episode다. ICL 26.81% vs 논문 36.36%의 −9.55pp 격차 원인(학습 step/packing/시드)도 아직 미분리다. 자체 LingBot-VA(27.86%)와의 macro 직접 비교는 move_stapler_pad·stamp_seal 2개 셀이 upstream 기준이라 여전히 보류(job 130608 대기).
1. 이어 돌리기 job 132447(open_microwave)·132448(stack_blocks_three) 완료 후 재합산 — macro가 소폭 변할 수 있다.
2. 무관한 demo 대조군(zwshuf_stamp_seal, zwshuf_place_empty_cup) 평가 — "+17/+18pp가 그 demo의 특정 정보 때문인지, 아무 video나 조건으로 넣어도 오르는지"를 가른다. 이게 나와야 grounding 해석이 상관관계를 넘어 확정된다.
3. job 130608(자체 LingBot-VA 수정 기준 재평가) 완료 후 비교 페이지의 기준을 통일해 LingBot-VA vs ZW w/o pretrain macro 직접 비교를 복원한다.