Flex-π vs FastWAM task별 비교 — 학습 목표가 만드는 표현 차이

TL;DR

joint vs FastWAM: clean 39승 3무 8패 (macro +12.5), random 50승 0패 (macro +49.2)
action_rgb(RGB-only 추론)도 FastWAM 이김: 8-task clean 88.6 vs FastWAM 74.1 (+14.5) — 입력 모달리티 차이가 아님
결론: 격차의 원인은 학습 목표(DINO/pointmap 미래 예측 + cross-modality forcing), 논문 ablation 수치와 방향 일치

+49.2

random macro Δ vs FastWAM

+14.5

action_rgb clean Δ vs FastWAM

리더보드 entries 비교

1 배경 / 목적

2026-09-03 리더보드 프로토콜 평가(clean2clean 90.24 / clean2random 51.12)로 순위(c2c 1위·avg 2위 추정)까지는 확인했지만, 왜 이 격차가 나는지는 미규명 상태였다. 특히 FastWAM은 Flex-π와 같은 Wan2.2 계열 world-action model인데도 clean 77.8 / random 1.9로 큰 격차(우리 90.24 / 51.12)가 난다 — 이 차이가 입력 모달리티(RGB만 vs DINO/pointmap까지 봄) 때문인지 학습 목표(cross-modality forcing으로 만들어진 표현) 때문인지 구분해야, 이어지는 P-B(presence 축) 실험의 방향이 정해진다.

기존 한계: 리더보드 JSON은 task별 성공률만 제공하고 원인 분석은 없음 — 직접 task-level diff를 떠서 실패 패턴을 봐야 함.

2 작업 내용

리더보드 JSON(tmp/robotwin_leaderboard.json, 2026-09-01 갱신, 20 entries)에서 easy[50]/hard[50] task별 성공률을 추출하고, ours(joint / action-only / action_rgb)와 비교표를 생성했다.

비교 대상: FastWAM (RoboTwin Team 제출, 2026-08-10), OLA-Geo, OLA-Sem (HKUSTGZ), GigaBrain-0.7, 4D-WAM (OpenHelix), π0.5 산출물: tmp/leaderboard_pertask_compare.md (task별 승/무/패 + Δ 표) 비교축: 50-task 전체(joint만) + 8-task 서브셋(joint/action/action_rgb 전부 있는 교집합)

3 결과 (수치)

50-task 전체 — joint vs FastWAM

비교	승/무/패	macro Δ	최대 격차 task
clean	39승 3무 8패	+12.5	stamp_seal +66, hanging_mug +55, put_object_cabinet +50, open_microwave +40
random	50승 0무 0패	+49.2	거의 전 task에서 큰 격차 — FastWAM random 41/50 task가 성공률 0

FastWAM의 유일한 우세 task: place_can_basket (77 vs 53, −24). 그 외 FastWAM이 이긴 7 task는 전부 ≤7pt 차이.

FastWAM 실패 패턴: clean <50%인 6개 task — hanging_mug 14, open_microwave 17, stamp_seal 30, move_stapler_pad 33, turn_switch 39, put_object_cabinet 42. 전부 관절/정밀 조작(microwave, cabinet, mug, stamp, stapler, switch) 계열.

8-task 서브셋 — regime별 vs 다른 entry

Model	clean	random
ours joint	89.5	41.0
ours action-only	90.1	32.4
ours action_rgb (RGB만 추론)	88.6	23.5 (n=6/8)
FastWAM	74.1	0.9
OLA-Geo	88.2	35.8
OLA-Sem	75.4	66.2
GigaBrain-0.7	81.5	76.5
4D-WAM	81.6	45.9
π0.5	72.2	48.5

핵심 발견: RGB 프레임만 보고 추론하는 action_rgb조차 clean 88.6로 FastWAM(74.1) 대비 +14.5 — DINO/pointmap 입력을 아예 빼도 이긴다. 즉 격차는 "무엇을 입력으로 보는가"가 아니다.

4 Takeaway

의미

격차는 입력 모달리티가 아니라 학습 목표(DINO/pointmap 미래 예측 + cross-modality forcing)가 만든 표현 차이다. Flex-π 논문 ablation(5 task, 50 demo, 5 epoch from scratch)과 방향이 일치: video→+DINO +6.8, →+pointmap +20, cross-modality forcing 제거 −21, pointmap을 학습에서 빼면 −20(추론에 depth가 없어도 학습에서 예측 목표였으면 표현이 남음). FastWAM 실패 task가 전부 관절/정밀 조작(기하 추론이 필요한 task)인 것도 "기하 표현 부족" 가설과 부합한다.

유의: 리더보드 FastWAM은 RoboTwin 팀의 자체 재현(학습 recipe 미공개)이라 학습량 차이도 완전히 배제할 수 없다. Flex-π 논문이 직접 재학습한 Fast-WAM 대조군은 50 randomized demo에서 41.9로, 이번 비교(0.9)보다 훨씬 높다 — recipe 격차가 상당할 가능성.

5 Next Steps

미해결 한계

FastWAM 재현 recipe가 불명확해 "학습 목표 vs 학습량" 두 변수를 완전히 분리하지 못했다. 논문 자체 재현치(41.9)와 리더보드 제출치(0.9)의 큰 차이가 이 불확실성을 뒷받침한다.

다음 실험

다른 리더보드 entry(OLA-Sem, GigaBrain-0.7 등)도 task-level로 분해해 실패 유형이 우리와 어떻게 다른지 비교 — 특히 random에서 우리보다 강한 OLA-Sem(66.2)·GigaBrain(76.5)이 어떤 task군에서 이기는지 확인하면 P-B/P-C 다음 실험(중간 presence regime)의 타겟 task를 좁힐 수 있다.