Zero-WAM RoboTwin 최종 종합

TL;DR

헤드라인 격차의 대부분은 비교 조건에서 나온다. 논문의 ZW 46.95 vs LingBot-VA 17.45(+29.50pp)는, 같은 성공 기준으로 학습·평가한 자체 LingBot-VA(40.71)와 비교하면 +6.24pp로 줄어든다. 줄어든 몫의 상당 부분은 성공 기준 변경이다(move_stapler_pad 1→61%, stamp_seal 4→34%).
demo는 실행을 돕는다. 같은 장면 짝 비교에서 +6.1pp(p=0.002)이고, 순이득의 88%가 잡기·놓기 개선이다. 다른 태스크 영상으로 바꾸면 −13pp다. 같은 recipe의 텍스트 전용 쌍둥이보다 ICL이 +10.7pp 높다.
어떤 조건 채널로도 목표가 바뀌지 않는다. 같은 장면에서 왼쪽/오른쪽 목표를 줬을 때 장면 효과는 +92.5pp이고 HumanGen 영상은 +6.7pp, 캡션은 +4.0pp다. 언어 지시는 0/103을 따랐다. 사람이 좌/우를 확인한 생성 demo는 ZW32K +0.0pp, 공개 full ZW +9.9pp(유의하지 않음)다.
재현 격차는 학습 스텝 부족이 아니다. 32K→50K로 늘리면 ICL이 27.00→22.57%로 오히려 내려간다.
결론. RoboTwin에서는 장면이 태스크를 정하므로 "demo = task specification"을 지지할 수도 반박할 수도 없다. 장면이 목표를 알려주지 않는 벤치마크로 옮겨야 한다(→ RoboDojo).

+29.5 → +6.2

헤드라인 격차 (pp)

+6.1pp

demo 효과 (짝 비교)

88%

이득 중 잡기·놓기

+92.5pp

좌/우를 정한 장면 효과

0/103

언어 좌/우 지시 따름

1 배경 / 목적

Zero-WAM은 사람 영상 한 개를 in-context demo로 넣으면 로봇이 처음 보는 태스크를 수행한다고 주장한다. 논문의 가장 강한 문장은 "human demo가 task specification 역할을 한다"는 것이다. 이 검증은 네 질문에 답하려 했다.

Q1. 헤드라인 우위(46.95 vs 17.45)는 공정한 비교에서도 유지되는가?
Q2. 추론 시 demo는 실제로 성공률을 올리는가? 영상 내용을 쓰는가?
Q3. 올린다면 무엇을 고치는가? "무엇을 할지"인가, "어떻게 할지"인가?
Q4. 같은 장면에서 목표만 다를 때 demo(또는 언어)가 목표를 바꾸는가?

공통 조건: 자체 평가는 단일 시드, 태스크당 n=100이다(목표 명세 실험은 조건당 50 에피소드). 성공 기준은 Zero-WAM 공개 코드의 수정 기준으로 통일했다. 7태스크 macro의 표준오차는 약 ±1.5pp, 태스크 단위는 약 ±5pp다.

2 실험 지도

날짜	실험	답한 질문	개별 보고서
09-09	43/7 split asset 커버리지, 논문 ablation 수치 복원, 자체 LingBot-VA 대조	Q1	`260909-robotwin_task_split_review`
09-10	반증 가능한 벤치마크 설계(K지선다)	Q4 설계	`260910-falsifiable_benchmark_design`
09-15	공개 릴리스 분석 → 성공 기준 2개 수정 발견, HumanGen 분포	Q1	`260915-zero_wam_public_release`
09-15~16	ZW w/o pretrain 재학습(Wan2.2-5B init, 32K step, 8 GPU 20h52m)	Q1, Q2	`260916-zerowam_wopretrain_robotwin`
09-16~19	성공 기준 교란 분리, `stamp_seal` 프롬프트 2×2	Q1	`260917-eval_criteria…`, `260921-lingbot_va_fixed…`
09-17~21	같은 ckpt로 lang / ICL / 영상 교체 3조건	Q2	`260918-…delta`, `260921-demo_video_swap_control`
09-29~10-01	32K→50K 이어 학습 + 재평가	재현 격차	`261001-zerowam_wopretrain_50k`
10-02	같은 장면 짝 비교(McNemar) + 실패 원인 분류 162건 + 맞는/엉뚱한 demo 97건	Q2, Q3	`261002-demo_paired_failure_modes`
10-02~04	텍스트 전용 쌍둥이(`DROP_ICL=1.0`, 같은 recipe 32K)	Q2	`261002-…` 업데이트
10-02~04	place_a2b 좌/우 목표 2×2×2, 언어 기준선, 공개 full ZW	Q4	`261002-a2b_goal_spec`
10-04	좌/우가 명확한 human demo 생성(논문 HumanGen 파이프라인) + 블라인드 판정 + 재실험	Q4	`261004-demo_judgment`

3 Q1 — 헤드라인 격차는 어디서 오는가

7개 held-out 태스크, Zero-WAM 수정 성공 기준. "자체" 열은 우리가 학습하고 평가한 값이다.

task	논문 LB	자체 LB	논문 ZW w/oP	자체 ZW ICL 32K	자체 ZW lang 32K	논문 text-only	논문 ZW
place_empty_cup	42.33	62.00	46	28.00	10.00	65.65	84.87
move_stapler_pad	23.33	61.00	74	40.00	52.00	64.98	69.14
place_bread_basket	17.33	60.00	33	37.00	31.00	63.92	35.00
stamp_seal	3.67	34.00 (pnp 47.00)	53	47.00	30.00	17.33	47.00
open_microwave	29.33	34.00	26	21.00	8.70	41.43	59.00
place_object_scale	6.17	34.00	22	16.00	13.00	22.68	24.67
stack_blocks_three	0.00	0.00	0	0.00	0.00	0.00	9.00
macro	17.45	40.71	36.36	27.00	20.67	39.44	46.95

논문 주장 ZW 46.95 − LB 17.45 = +29.50pp ├ 데이터 효과 text-only 39.44 − LB 17.45 = +21.99pp (75%) └ ICL 경로 46.95 − 39.44 = +7.51pp (25%) 자체 LB, 같은 성공 기준 ZW 46.95 − LB 40.71 = +6.24pp ← 격차의 79%가 사라짐

move_stapler_pad(1→61%)와 stamp_seal(4→34%)는 같은 LingBot-VA ckpt를 성공 기준만 바꿔 재평가한 값이다. 수정 기준은 xy 허용면적이 11배·9배이고 자세 조건이 빠졌다. 사실상 태스크 재정의다.
stamp_seal은 프롬프트를 학습 분포 템플릿으로 바꾸면 LB 47.00 = ZW 47.00이 되어 격차가 0이다. 논문의 가장 큰 demo 이득 사례(+29.67)는 어휘 OOV와 허용오차로 설명된다.
남은 +6.24pp도 고르지 않다. ZW 우위는 microwave +25.0, cup +22.9이고, LB 우위는 bread −25.0, scale −9.3이다.

4 재현 격차 — 스텝 부족 가설 기각

자체 ZW w/o pretrain ICL 27.00%는 논문 36.36%보다 −9.29pp 낮다. 우리는 32K step만 돌렸고 공개 recipe는 50K라서 처음에는 이것을 유력 원인으로 봤다. 같은 ckpt에서 50K까지 이어 학습해 확인했다.

task	ICL 32K	ICL 50K	lang 32K	lang 50K	Δdemo 32K	Δdemo 50K
stamp_seal	47	45	30	25	+17	+20
move_stapler_pad	40	36	52	50	−12	−14
place_bread_basket	37	30	31	30	+6	0
place_empty_cup	28	21	10	5	+18	+16
open_microwave	21	16	8.70	3	+12.3	+13
place_object_scale	16	10	13	10	+3	0
stack_blocks_three	0	0	0	0	0	0
macro	27.00	22.57	20.67	17.57	+6.33	+5.00

0%가 아닌 12개 (태스크, 모드) 비교가 전부 내려갔다. 같은 장면 짝 비교로도 32K ICL vs 50K ICL은 −4.1pp, p=0.034다.
demo 기여(ICL−lang)는 +6.33 → +5.00으로 거의 유지되고 태스크별 부호 패턴도 같다. 스텝을 늘려 정책 수준만 내려갔고 demo를 쓰는 방식은 그대로다.
남은 후보: 2,149 샘플에 대한 과적합(32K에서 이미 샘플당 약 119회 반복), 재시작 시 Adam 초기화 2회, 해상도·서브샘플·시드. 36K~48K ckpt 평가로 가를 수 있지만 아직 하지 않았다.

5 Q2 — demo는 성공률을 올리는가

같은 장면 짝 비교 (ZW 32K, lang = A, ICL = B, exact McNemar)

같은 seed는 같은 장면이다(첫 프레임 MAE 0.17–0.24 vs 다른 seed 1.25–2.91로 확인). 재실행 노이즈는 7%(29 중 2)만 결과가 바뀌어서, 조건 간 뒤바뀜은 대부분 실제 효과다.

task	n	lang만 성공	ICL만 성공	B−A	p
place_empty_cup	100	4	22	+18.0	0.0005
stamp_seal	97	13	29	+16.5	0.020
open_microwave	75	5	16	+14.7	0.027
place_bread_basket	95	6	11	+5.3	0.33
place_object_scale	95	6	8	+2.1	0.79
move_stapler_pad	98	27	15	−12.2	0.088
stack_blocks_three	100	0	0	0	1
pooled	660	61	101	+6.1	0.0021

영상 내용을 쓰는가 — 다른 태스크 demo로 교체 (ICL 모드 안에서)

stamp·stapler·cup 3태스크에서 demo를 다른 태스크 영상으로 순환 교체했다. 맞는 demo 38.33% → 엉뚱한 demo 25.33%, −13.0pp(Fisher p=0.0008, 짝 비교 p=0.0001). 영상 내용은 실제로 쓴다. 하지만 언어를 끈 상태에서 엉뚱한 demo로도 25%가 성공한다. 태스크 정보의 주 출처는 장면이다.

demo로 학습하는 것 자체의 효과 — 텍스트 전용 쌍둥이

lang 모드는 학습 조건 분포의 6%뿐이라(drop_icl=0.1 × droptext_target=0.4 독립) lang vs ICL 비교는 덜 학습된 모드와의 비교다. 그래서 데이터·init·스텝·IFP가 같고 DROP_ICL=1.0만 다른 쌍둥이를 학습했다.

task	쌍둥이 lang	ZW lang	ZW ICL
place_empty_cup	5	10	28
move_stapler_pad	45	52	40
place_bread_basket	19	31	37
stamp_seal	26	30	47
open_microwave	4	8.7	21
place_object_scale	15	13	16
stack_blocks_three	0	0	0
macro	16.29	20.67	27.00

Q2 답: 그렇다. demo로 학습하고 추론하면 언어 전용 학습보다 +10.7pp 높다. demo로 학습만 해도 lang 모드가 +4.4pp 높다. IFP는 세 모델 모두에 있으므로 이 차이는 IFP만으로 설명되지 않는다.

6 Q3 — demo는 무엇을 고치는가

결과가 바뀐 에피소드마다 head cam 6프레임 시트를 만들고 실패한 쪽의 원인을 분류했다. 사람이 무작위 샘플을 재확인했고 5/5 일치했다.

실패 원인	lang vs ICL: demo가 줄인 수	엉뚱한 vs 맞는 demo: 맞는 demo가 줄인 수
grasp_fail (잡기 실패)	16	25
place_off (놓기 빗나감)	19	6
wrong_target (엉뚱한 대상)	4	4
incomplete	0	4
실행 단계 비중	35/40 = 88%	31/39 = 79%

held-out 장면에는 고를 대상이 사실상 하나뿐이다(bread의 2빵 장면만 예외). wrong_target도 "다른 후보를 고름"이 아니라 바구니를 잡거나 전자레인지 버튼으로 가는 경우다.
가장 많이 고쳐지는 패턴은 물체를 잡지 않고 빈손으로 목표로 가는 것이다. 맞는 demo는 사람 손이 바로 그 물체를 잡는 장면을 보여 준다. demo가 물체 grounding/affordance를 제공한다는 해석과 맞는다.
엉뚱한 demo를 줘도 그 태스크 동작을 따라 하는 경우는 13%(대부분 낮은 확신)였다. 대부분은 원래 태스크를 하다가 잡기에서 실패한다.
demo는 성공을 더하기만 하는 게 아니라 재배치한다. 순 +40 뒤에 뒤바뀜이 162건(25%) 있다. stapler에서는 빈손 이동을 오히려 늘린다.

place_empty_cup · seed 100010 — 같은 장면, lang vs ICL

lang (demo 없음): 빈손으로 코스터에 먼저 감 → 실패

ICL (맞는 demo): 컵을 잡아 코스터에 놓음 → 성공

move_stapler_pad · seed 100023 — 같은 장면, 엉뚱한 demo vs 맞는 demo

엉뚱한 demo: 스테이플러를 건드리지 않고 패드로 직행 → 실패

맞는 demo → 성공

move_stapler_pad · seed 100076 — demo가 손해인 반대 사례

lang → 성공

ICL: 스테이플러를 밀어내고 빈손으로 패드에 감 → 실패

7 Q4 — demo나 언어가 목표를 정하는가

Q3까지의 장면에는 대상이 하나뿐이라 명세를 잴 수 없었다. 그래서 학습 태스크 place_a2b_left/right(A를 B의 왼쪽/오른쪽에)를 썼다. 원본 생성기는 left일 때 A를 B 오른쪽에서 시작시키므로 장면이 목표를 누설한다. 장면을 억지로 모호하게 만들면 OOD가 되므로, 장면 생성기 × 조건 신호를 교차하는 설계로 바꿨다. 성공 판정은 어느 쪽이든 유효하게 놓으면 성공으로 고쳤고, 놓은 쪽을 따로 기록했다.

집계 기준: A를 8 cm 이상 실제로 옮긴 유효 배치만 센다. 처음 집계에서는 B를 옮긴 에피소드가 34% 섞여 좌/우 의미가 뒤집혀 있었다(10/04 정정).

7-1. HumanGen demo + 캡션 (ZW 32K, ICL 모드, 2×2×2, 각 50 ep)

요인	P(left) 차이	95% CI
장면 생성기 left vs right	+92.5pp	0.982 vs 0.057
영상이 left를 보여 줌	+6.7pp	[−0.1, +13.5]
캡션이 left라고 말함	+4.0pp	[−2.7, +10.7]

같은 장면에서 영상만 L↔R로 바꾼 42쌍 중 영상을 따라 바뀐 것은 2쌍이다. 공개 full ZW도 같은 설계에서 장면 +88.2pp, 영상 −2.4pp, 캡션 +6.6pp(둘 다 유의하지 않음)다.

7-2. 언어 지시 (텍스트 전용 쌍둥이 + ZW lang 모드)

모델	장면이 left, 지시 right	장면이 right, 지시 left	지시를 따른 수
텍스트 전용 쌍둥이	left 29 / right 0	left 0 / right 18	0/47
ZW 32K lang	left 35 / right 0	left 0 / right 21	0/56

언어로만 학습한 모델도 장면과 반대인 지시를 한 번도 따르지 않았다. 지시문이 옮길 물체 A의 이름을 말하는데도 약 20%는 B를 옮긴다.

7-3. 좌/우가 명확한 생성 demo (논문 HumanGen 파이프라인 재현)

"HumanGen demo가 '옆에 놓기'로만 읽혀서 좌/우 정보가 없다"는 반론을 확인하려고 demo를 직접 만들었다. 로봇 평가 장면 첫 프레임 → VLM이 A/B 식별 → Nano Banana로 사람 장면과 끝 장면 편집 → Wan2.1-I2V-14B first-last-frame 생성 순서다. 블라인드 판정에서 좌/우는 10/10 의도와 일치했고, 9/10은 제3의 팔이나 순간이동이 있어 어색했다.

모델	demo 세트	demo 효과 P(left\|L) − P(left\|R)	같은 장면 짝: demo를 따라 바뀜
ZW 32K	두 손 (판정 통과, 2쌍)	+0.0pp [−7.1, +7.1]	0/39
공개 full ZW	두 손 (판정 통과, 2쌍)	+9.9pp [−6.7, +26.5]	1/12
ZW 32K	한 손 (1쌍, 판정 안 함)	−6.3pp [−16.9, +4.4]	0/39
공개 full ZW	한 손 (1쌍, 판정 안 함)	+11.0pp [−4.3, +26.4]	1/16

이번 정리에서 새로 발견한 문제: 한 손 세트의 "오른쪽" demo는 마지막에 마우스가 비누 오른쪽이 아니라 비누 위에 겹쳐 놓인다(아래 영상). 이 세트는 블라인드 판정을 거치지 않았다. 그래서 10/04 로그의 두 세트 합산값(ZW32K −1.9pp, full +10.5pp)은 쓰지 않고, 판정을 통과한 두 손 세트 값만 주 결과로 쓴다. 결론은 바뀌지 않는다.

HumanGen demo · left 장면 seed 100001 — 반대 demo를 줘도 둘 다 왼쪽에 놓음 (ZW 32K)

왼쪽 demo 입력

→ 왼쪽에 놓음 (A 이동 15 cm)

오른쪽 demo 입력

→ 왼쪽에 놓음 (A 이동 16 cm)

언어 · 텍스트 전용 쌍둥이 · left 장면 seed 100001 — "left" 지시와 "right" 지시 모두 왼쪽

"…place left of the mouse with buttons and wheel." → 왼쪽

"Position the soft golden medium bread directly to the right of the dark gray mouse." → 왼쪽

생성 demo(두 손, 판정 통과) · right 장면 seed 100005 — demo는 바로 이 장면의 첫 프레임에서 만들었다

왼쪽 demo: 스테이플러를 원기둥 왼쪽으로 옮김

오른쪽 demo: 스테이플러를 원기둥 오른쪽에 놓음

ZW 32K + 왼쪽 demo → 오른쪽 (A 이동 15 cm)

ZW 32K + 오른쪽 demo → 오른쪽 (A 이동 14 cm)

공개 full ZW + 왼쪽 demo → 오른쪽 (A 이동 18 cm)

공개 full ZW + 오른쪽 demo → 오른쪽 (A 이동 17 cm)

문제가 있는 한 손 demo (판정 안 함) — "오른쪽" 버전이 비누 위에서 끝남

한 손 · 왼쪽: 마우스가 비누 왼쪽에서 끝남 (명확)

한 손 · 오른쪽: 마우스가 비누 위에 겹쳐 끝남 (모호)

롤아웃 영상은 키프레임마다 한 장씩 기록돼 원래 짧다(약 2.5초). 이 페이지에서는 0.5배속으로 재생한다.

8 Takeaway

내 판단

Zero-WAM이 RoboTwin에서 보여 주는 것은 "사람 영상을 보조 신호로 넣으면 실행이 조금 나아진다"이다. "사람 영상으로 할 일을 지정한다"가 아니다. demo 효과는 실재하고(짝 비교 p=0.002, 교체 −13pp, 쌍둥이 대비 +10.7pp), 그 이득은 잡을 물체를 제대로 잡는 데서 나온다. 반면 목표가 실제로 갈리는 장면에서는 demo, 캡션, 언어 어느 것도 목표를 바꾸지 못하고 장면 배치가 결과를 정한다.

이건 Zero-WAM만의 결함이라기보다 RoboTwin 학습 데이터의 구조 문제다. 학습 데이터에서 장면이 목표와 완전히 같이 움직이면, 어떤 조건 채널로 학습하든 정책은 장면 지름길을 배운다. 언어 전용 모델이 0/47로 같은 실패를 보인 것이 근거다. 그래서 RoboTwin 위에서는 "demo가 언어보다 나은 명세 인터페이스인가"라는 질문 자체를 측정할 수 없다.

공개 full ZW에서만 일관되게 약 +10pp의 양수 신호가 보인다. 대규모 ICL 사전학습이 demo를 아주 약하게 읽게 만들었을 수 있다. 다만 판정 통과 세트에서도 CI가 0을 포함하고 장면 효과의 1/9 수준이라, 주장으로 쓸 수 있는 크기는 아니다.

평가 위생: 성공 기준은 반드시 명시해야 한다(같은 모델이 1%와 61%). 모델과 기준을 동시에 바꾼 비교로 가설을 지지하지 않는다. 논문의 "text-only ZW"는 학습부터 다른 모델이라 추론 시 demo 기여와 섞으면 안 된다.
생성 demo: 쓰기 전에 반드시 사람이 끝 상태를 확인해야 한다. 이번에도 판정을 건너뛴 한 손 세트에서 끝 상태 오류가 나왔다.

9 한계와 다음

한계

모든 자체 평가는 단일 시드다. 태스크 단위 차이(±5pp SE)는 확정하지 못했다.
목표 명세 실험은 셀당 유효 배치 8~35개라 ±10pp 이하의 작은 효과는 배제하지 못한다.
재현 격차의 남은 원인(과적합 vs Adam 재시작)은 36K~48K ckpt 평가로 가를 수 있지만 하지 않았다.
실패 원인 라벨은 에이전트 1-pass 라벨이고 사람은 5건만 재확인했다.

다음 — 벤치마크 이동

RoboDojo(Isaac Sim, ARX-X5): Open 차원 태스크(classify_objects_by_language, stack_blocks_by_language, pour_by_language 등)는 장면과 스킬은 학습 태스크와 같고 지시문만 목표를 정한다. π0.5는 Open 8태스크 2.5%(2/80)다.
학습 데이터에는 태스크마다 고정 지시문 하나뿐이다. 학습 에피소드를 실제로 일어난 매핑으로 다시 라벨링하면(hindsight relabeling) 장면이 목표를 알려주지 않는 학습 데이터를 수집 없이 만들 수 있다. 같은 매핑을 사람 demo로 주는 조건과 비교할 수 있다.
진행 중: Zero-WAM(RoboTwin ckpt)을 RoboDojo stack_bowls에 10회 zero-shot으로 돌려(job 176021) 다른 로봇에서 잡기까지 가는지부터 확인한다.

Zero-WAM RoboTwin 검증 최종 종합 (9/9 ~ 10/4)