Flex-π clean-50 리더보드 프로토콜 평가 & action-only 대조

TL;DR

clean2clean 90.24 / clean2random 51.12 / avg 70.68 (50 task × 100 ep, 102.7 GPU-h). 2026-09-01 리더보드 기준 c2c 1위(OLA-Geo 82.96), c2r 3위(GigaBrain 67.9, OLA-Sem 67.6), avg 2위(OLA-Sem 71.34). 미제출 · optix 디노이저 · 자체 하네스 조건 병기 필수.
P-C 첫 데이터포인트: 같은 ckpt action-only(8 task, 25 ep) random 26.5 vs joint 42.0 — joint +15.5 pt, 5승 3무 0패. full-data에선 action ≥ joint(−0.8)였던 결과가 demo-scarce+분포이동에서 뒤집힘.
분포이동 붕괴 task: lift_pot 3, move_stapler_pad 4, open_microwave 8, rotate_qrcode 9 (random). clean ≥90 38/50, random ≥50 25/50.
검증: 전 100 셀 ckpt==10960, 에셋 오류 0, 에피소드 100, step 상한==upstream. preempt 11회, sbmr requeue로 13.7 h 만에 완료.

90.24

clean2clean

51.12

clean2random

70.68

average

+15.5

joint − action (random, 8 task)

102.7

GPU-h

1 배경 / 목적

RoboTwin 2.0 리더보드 프로토콜(aloha-agilex, 50 task × demo_clean 50 co-train, 100 trial/task, clean2clean + clean2random)로 clean-50 Flex-π를 평가해 (a) Wan2.2 init만으로 어느 위치인지, (b) 연구계획 P-C — 데이터가 적고 분포이동이 있을 때 world-model stream(joint)이 action-only보다 나은지 — 를 확인.

기존 한계: Flex-π vendored _eval_step_limit.yml은 upstream의 절반 상한(lift_pot 200 vs 400 등)이라 리더보드와 비교 불가였음. 논문 재현 sweep과 ckpt 선택은 모두 절반 상한 기준.

2 작업 내용

step 상한: envs/_base_task.py → ROBOTWIN_EVAL_STEP_LIMIT_FILE env (미설정 시 기존 파일), task_config/_eval_step_limit_upstream.yml (X-WAM 원본) 래퍼: scripts/sweep_flexpi_robotwin_worker.sh STEP_LIMIT_FILE=upstream 제출: 50 task → step 상한 내림차순 round-robin 5그룹, lb_joint_g1..5 (107346~107350), extra 2 GPU, 1 worker/GPU, 100 ep, sbmr 6회 공통 RESUME_DIR=evaluate_results/robotwin/robotwin_clean50_clean50_10ep/lb_010960_joint (preempt 후 완료 (task,phase) 스킵) 이력: g1 12.0 h / g2 9.5 h 무중단, g3 5회 · g4 6회(한도 6) · g5 3회 제출 → preempt 11회, wall 51.4 h = 102.7 GPU-h, 제출→완료 13.7 h 검증: tmp/aggregate_leaderboard.py — 셀별 ckpt / modelid out-of-range / 에피소드 수 / step 상한 assert 대조: 107345 c50act_010960 (다른 세션) — REGIME=action, 8 task × 25 ep, 절반 상한, 같은 ckpt 기준치: robotwin-platform.github.io/data/robotwin_leaderboard.json (2026-09-01, 21 entries)

3 결과

3.1 리더보드 대비 (co-train 50 task × 50 demo_clean, 100 trial)

entry	c2c	c2r	avg	비고
Flex-π clean-50 (ours)	90.24	51.12	70.68	Wan2.2 init, 미제출, optix
OLA-Sem (HKUSTGZ)	75.12	67.56	71.34	avg 1위
GigaBrain-0.7	66.80	67.90	67.35	c2r 1위
4D-WAM (OpenHelix)	81.50	41.80	61.65
π0.5	70.70	46.00	58.35
OLA-Geo	82.96	33.64	58.30	c2c 1위
X-WAM	70.00	25.80	47.90
X-VLA	68.00	20.90	44.45
FastWAM	77.80	1.90	39.85

비교 주의: (1) 우리 하네스 = Flex-π 평가 코드 + optix 디노이저(리더보드는 OIDN, B200 미지원) + instruction_type=unseen. (2) XPolicyLab 표준 인터페이스로 검증된 수치 아님. (3) init(Wan2.2-TI2V-5B)은 리더보드 규정상 자유.

3.2 action-only vs full-joint (8 task, 25 ep, 절반 상한) — P-C

task	joint clean/random	action clean/random	Δ random (joint−action)
adjust_bottle	96 / 44	100 / 8	+36
click_bell	100 / 68	100 / 68	0
lift_pot	100 / 4	100 / 4	0
open_microwave	72 / 12	68 / 0	+12
place_shoe	100 / 48	100 / 36	+12
put_object_cabinet	84 / 20	88 / 20	0
scan_object	96 / 44	88 / 16	+28
stack_bowls_two	100 / 96	88 / 60	+36
mean	93.5 / 42.0	91.5 / 26.5	+15.5 (5승 3무 0패)

P-C 첫 지지: full-data released ckpt에선 action ≥ joint(Δ=−0.8, 08-28)였지만, clean-50 + 분포이동에서는 joint가 random에서 +15.5 pt(진 task 없음). 지연은 action 203 ms/call vs joint 305 ms/call(1.50×). 25 ep라 셀 SE ±10 — 50 task × 100 ep 확정 실험 필요.

3.3 50-task 전체 (clean / random, 100 ep; 참고: released full-data ckpt, 절반 상한)

task	clean	random	released 48k c/r
adjust_bottle	96	32	98 / 97
beat_block_hammer	98	54	99 / 93
blocks_ranking_rgb	90	30	98 / 96
blocks_ranking_size	64	34	81 / 84
click_alarmclock	92	70	84 / 92
click_bell	98	67	94 / 97
dump_bin_bigbin	94	87	94 / 89
grab_roller	100	91	100 / 100
handover_block	99	31	99 / 95
handover_mic	99	47	99 / 99
lift_pot	99	3	99 / 100
move_can_pot	93	11	100 / 99
move_playingcard_away	99	50	100 / 100
move_stapler_pad	52	4	96 / 95
hanging_mug	69	28	85 / 81
open_laptop	94	31	97 / 98
open_microwave	57	8	50 / 57
pick_diverse_bottles	89	73	93 / 93
pick_dual_bottles	100	90	100 / 100
place_a2b_left	96	32	96 / 98
place_a2b_right	94	34	98 / 99
place_bread_basket	92	74	95 / 95
place_bread_skillet	93	65	87 / 94
place_can_basket	53	40	78 / 89
place_cans_plasticbox	100	96	100 / 100
place_container_plate	98	87	100 / 100
place_dual_shoes	87	71	94 / 92
place_empty_cup	98	88	100 / 100
place_fan	97	37	97 / 98
place_burger_fries	98	88	98 / 99
place_mouse_pad	85	17	99 / 98
place_object_basket	87	56	86 / 89
place_object_scale	96	26	97 / 98
place_object_stand	100	77	97 / 99
place_phone_stand	95	26	98 / 99
move_pillbottle_pad	100	29	100 / 100
place_shoe	92	53	97 / 97
press_stapler	85	39	98 / 97
put_bottles_dustbin	91	84	94 / 92
put_object_cabinet	92	29	90 / 90
rotate_qrcode	94	9	91 / 89
scan_object	90	51	95 / 91
shake_bottle	99	92	100 / 100
shake_bottle_horizontally	100	96	100 / 100
stack_blocks_three	96	33	97 / 98
stack_blocks_two	100	69	100 / 100
stack_bowls_three	81	81	77 / 81
stack_bowls_two	92	85	90 / 94
stamp_seal	96	24	99 / 97
turn_switch	53	27	80 / 83
mean	90.24	51.12	93.88 / 94.42

분포이동 붕괴: random ≤10 — lift_pot 3, move_stapler_pad 4, open_microwave 8, rotate_qrcode 9. clean도 released 대비 크게 빠진 task: move_stapler_pad 52(96), turn_switch 53(80), place_can_basket 53(78), blocks_ranking_size 64(81), hanging_mug 69(85).

3b action-only 50 task × 100 ep (동일 프로토콜) — P-C 확정

108130~108133 (extra 2 GPU × 4, own 34 유닛 완료 후 전환, preempt 0), 101.7 GPU-h. 100 셀 전부 ckpt 10960 · 에셋 오류 0 · 100 ep · upstream 상한 · infer_joint_*=false 확인.

regime	clean2clean	clean2random	avg	ms/call
full joint	90.24	51.12	70.68	304.5
action-only	89.56	34.94	62.25	200.7
Δ joint − action	+0.68 (18승 11무 21패)	+16.18 (45승 1무 4패)	+8.43	1.52×

P-C 확정: world-model stream 생성의 가치는 in-distribution(clean)에서 0.7 pt, 분포이동(random)에서 16.2 pt. 39/50 task에서 |Δ|≥10. 8-task 서브셋(+15.5)이 50 task로 재현됨. 논문 Fig 10(randomized demo 학습, Δ+5.4)보다 3배 큰 격차 — 학습에 randomized demo가 없어 평가가 진짜 OOD이기 때문.

action 우세 4 task는 전부 click/press 계열: click_bell 86 vs 67, click_alarmclock 86 vs 70, turn_switch 35 vs 27, press_stapler 42 vs 39. 붕괴 task(lift_pot 3/3, move_stapler_pad 4/3, open_microwave 8/1)는 regime 무관.

task	joint c	action c	Δc	joint r	action r	Δr
adjust_bottle	96	97	-1	32	17	+15
beat_block_hammer	98	95	+3	54	27	+27
blocks_ranking_rgb	90	91	-1	30	5	+25
blocks_ranking_size	64	73	-9	34	13	+21
click_alarmclock	92	99	-7	70	86	-16
click_bell	98	100	-2	67	86	-19
dump_bin_bigbin	94	95	-1	87	77	+10
grab_roller	100	100	+0	91	83	+8
handover_block	99	99	+0	31	7	+24
handover_mic	99	99	+0	47	15	+32
lift_pot	99	97	+2	3	3	+0
move_can_pot	93	99	-6	11	4	+7
move_playingcard_away	99	99	+0	50	24	+26
move_stapler_pad	52	54	-2	4	1	+3
hanging_mug	69	59	+10	28	11	+17
open_laptop	94	96	-2	31	17	+14
open_microwave	57	61	-4	8	0	+8
pick_diverse_bottles	89	90	-1	73	49	+24
pick_dual_bottles	100	100	+0	90	66	+24
place_a2b_left	96	89	+7	32	12	+20
place_a2b_right	94	86	+8	34	15	+19
place_bread_basket	92	93	-1	74	47	+27
place_bread_skillet	93	95	-2	65	56	+9
place_can_basket	53	55	-2	40	11	+29
place_cans_plasticbox	100	99	+1	96	59	+37
place_container_plate	98	100	-2	87	74	+13
place_dual_shoes	87	89	-2	71	43	+28
place_empty_cup	98	97	+1	88	55	+33
place_fan	97	92	+5	37	10	+27
place_burger_fries	98	100	-2	88	70	+18
place_mouse_pad	85	78	+7	17	3	+14
place_object_basket	87	82	+5	56	20	+36
place_object_scale	96	95	+1	26	14	+12
place_object_stand	100	96	+4	77	64	+13
place_phone_stand	95	94	+1	26	14	+12
move_pillbottle_pad	100	100	+0	29	7	+22
place_shoe	92	94	-2	53	40	+13
press_stapler	85	85	+0	39	42	-3
put_bottles_dustbin	91	89	+2	84	73	+11
put_object_cabinet	92	92	+0	29	13	+16
rotate_qrcode	94	91	+3	9	1	+8
scan_object	90	85	+5	51	35	+16
shake_bottle	99	100	-1	92	85	+7
shake_bottle_horizontally	100	100	+0	96	89	+7
stack_blocks_three	96	96	+0	33	5	+28
stack_blocks_two	100	100	+0	69	32	+37
stack_bowls_three	81	86	-5	81	60	+21
stack_bowls_two	92	95	-3	85	65	+20
stamp_seal	96	88	+8	24	7	+17
turn_switch	53	34	+19	27	35	-8

3c P-B presence 축: action_rgb (현재 RGB만) — 8 task × 100 ep

REGIME=action_rgb = joint 전부 off + present_dino/pointmap=false. 29 GPU-h (own 4 유닛 후 extra, preempt 2회). joint/action 열은 50-task run에서 같은 8 task 추출. 지연 median: joint 304.5 / action 200.7 / action_rgb 173.7 ms.

task	joint c	action c	action_rgb c	joint r	action r	action_rgb r
adjust_bottle	96	97	99	32	17	7
click_bell	98	100	100	67	86	50
lift_pot	99	97	97	3	3	0
open_microwave	57	61	50	8	0	1
place_shoe	92	94	90	53	40	19
put_object_cabinet	92	92	91	29	13	6
scan_object	90	85	89	51	35	10
stack_bowls_two	92	95	93	85	65	55
mean	89.5	90.1	88.6	41.0	32.4	18.5

두 축의 분해 (random, 8-task 평균): 현재 DINO/pointmap 입력의 몫 +13.9, 미래 생성의 몫 +8.6 — 독립적으로 비슷한 크기. clean은 둘 다 0 (+1.5 / -0.6). adaptive regime은 presence와 generation을 따로 제어해야 하고, OOD 신호 시 저비용 입력 스트림을 먼저, 생성은 그 다음에 켜는 계단식이 자연스럽다.

FastWAM(리더보드, 같은 8 task 74.1/0.9) 대비: RGB만 보는 action_rgb도 clean +14.5 → 추론 입력이 아니라 학습 목표(DINO/pointmap 예측 + cross-modality forcing)가 만든 표현 차이. 논문 ablation(+DINO +6.8, +pointmap +20, forcing 제거 −21)과 일치. 리더보드 FastWAM은 6 task clean<50, random 41/50이 0.

4 Takeaway

의미

비디오 사전학습 백본(Wan2.2) + clean 50 demo만으로 in-distribution(c2c) 모방은 리더보드 최상위(90 vs 83)를 넘는다. 반면 c2r 51은 randomized 데이터 없는 학습의 구조적 한계다. 리더보드 관점에서는 "검증된 등재 수치"가 아니라 "자체 하네스 재현치"로만 인용해야 한다.

연구 관점에서 더 중요한 건 P-C: 논문의 "world-model stream은 test time에 불필요(near-saturation)"는 full-data·in-distribution 조건의 결론이다. 같은 ckpt를 분포이동 아래 두면 world-model stream이 +16.2 pt(50 task, 100 ep)를 만들고, in-distribution에서는 +0.7 pt로 무의미하다. world-model compute의 가치가 task가 아니라 분포이동 여부에 달려 있으므로, adaptive regime의 트리거는 "지금 OOD인가"를 읽어야 한다. clean을 감지해 action-only로 내리면 정확도 손실 없이 지연 34% 절감이 oracle 상한이다.

5 Next Steps

P-B / E0′

중간 regime(DINO/pointmap만 생성)과 oracle-gap 실험을 같은 ckpt·프로토콜로(regime당 ~100 GPU-h). OOD 트리거 신호 후보(첫 DiT block cos-sim, HBridge 통계)의 clean vs random 분리도를 추가 학습 없이 로그로 측정.

리더보드 정합

OIDN 2.3.x drop-in으로 디노이저를 맞춘 8 task × 100 ep 재평가로 optix 효과 정량화. XPolicyLab 인터페이스 실제 제출 여부는 사용자 결정.

운영

extra QOS 대규모 평가는 preempt 11회/13.7 h — own quota가 비는 시점에 제출하거나 sbmr 재시도 한도 10으로.

Flex-π clean-50: 리더보드 프로토콜 평가(50 task × 100 ep) & action-only 대조