Index
2026-08-12 – 2026-08-15 — Plan / Decision

HiFi-UMI → WAM 학습 방향 결정: RoboTwin eval 타당성 검토

UMI | "그리퍼 하드웨어가 없어서 배포 불가 → 학습해도 무의미한가?"에 대한 판단

TL;DR

0.0202m
Δpos p99 실측
3.4°
Δrot p99 실측
3%
보유(121h) / pretrain(4,000h)
2.88TB
A안: head_main 2,000h 전체

1 배경 / 목적

1 TB 서브셋 다운로드와 X-WAM 파이프라인 설계를 마친 시점에 근본적인 문제 제기가 나왔다: "UMI 그리퍼 하드웨어가 없어 실기 배포가 불가능하고, 시뮬레이터에도 같은 그리퍼를 넣을 수 없다. 그러면 학습해도 eval을 못 하는데 학습하는 게 맞는가?" 파이프라인 구현에 들어가기 전에 결론이 나야 하는 질문이라 먼저 판단했다.

기존 한계: RoboCasa(단일팔)를 이미 X-WAM eval 대조군으로 쓰고 있었는데, HiFi-UMI는 양팔 데이터라 embodiment 자체가 안 맞는 대조군이었다.

2 작업 내용

세 갈래로 실사했다: eval 인프라 실존 여부, embodiment가 맞는 대조군 판정, action 수치 스케일 직접 대조.

1. X-WAM eval 인프라 실사: scripts/eval_robocasa.sh, evaluation/{robocasa,robotwin}_client.py, policy_server.py, eval_results/ 과거 실행 기록 2. RoboCasa(단일팔) vs RoboTwin 2.0(양팔) 중 HiFi-UMI와 embodiment가 맞는 쪽 판정 -> evaluation/robotwin_client.py: dual_arm_embodied=True, left/right_robot_file, left/right_arm_dim 존재 = 완전한 양팔 3. configs/data/robotwin.yaml의 quantile statistics를 HiFi-UMI 실측값과 직접 대조

RoboCasa를 그대로 쓰지 않고 굳이 RoboTwin으로 바꾼 이유: RoboCasa는 num_arms_avail=1이라 action 14-dim 중 right 7 dim이 0으로 마스킹된다 — HiFi-UMI 양팔 데이터의 절반을 버리는 대조군이 된다.

3 결과 (수치)

3.1 eval 인프라는 이미 검증됨

README 기준 RoboCasa 79.2% / RoboTwin 2.0 Clean 89.8% / Randomized 90.7%. eval_results/에 X-WAM_full0~3, X-WAM_std10_g0/g1 등 다수 실행 기록 존재.

3.2 action 스케일 대조 — 놀랍게도 맞는다

항목RoboTwin (robotwin.yaml q01/q99)HiFi-UMI (실측)
action_*_ee_xyz±0.0178 / ±0.0153 / ±0.0128 mΔpos p99 = 0.0202 m
action_*_ee_axisangle±0.0427 / ±0.0867 / ±0.0577 rad (2.4°/5.0°/3.3°)Δrot p99 = 3.4°
gripper_pos[0,1] 정규화, inverse_gripper: false0~0.6 rad, 클수록 열림
proprio_*_ee_xyz z[0.835, 1.087]median 0.46, 범위 [-0.48, 1.14]
양팔 채움left+right 모두left+right 모두
핵심 발견: 프레임당 이동/회전 스케일이 같은 자릿수. quantile 정규화 후 유사한 영역에 떨어진다. proprio 원점 offset 차이는 데이터셋별 quantile 정규화가 흡수한다. 단, 그리퍼 부호 규약은 RoboCasa(-1=열림)가 아니라 RoboTwin(inverse_gripper: false)을 따라야 한다.

3.3 남는 gap — 정직하게

  • 그리퍼 기하: UMI 손 모양 vs RoboTwin 로봇 그리퍼. 비디오에 상시 노출되므로 시각 domain gap 존재
  • 카메라 분포: HiFi-UMI는 착용형 fisheye 6개(전부 dynamic), RoboTwin은 고정+손목
  • 논문 근거의 한계: 논문의 "pretraining으로 +18.1pp"는 UMI 그리퍼와 일치하는 자체 로봇에서 측정. cross-embodiment 전이에 대한 공개 근거는 없다.

3.4 스케일 문제 (기존 지적 유지)

논문 pretraining = 4,000h. 현재 보유 = 121h (3%). α=0.268이면 이득 2배에 데이터 13배 필요. 121h에서의 transfer 이득은 RoboCasa/RoboTwin 성공률 노이즈(수 pp) 아래일 공산이 크다. → "효과 없음"이 아니라 "측정 실패"를 관측하게 된다.

4 Takeaway

의미

"배포 불가 → 학습 무의미"는 성립하지 않는다. WAM은 pretraining corpus로서 transfer delta로 평가할 수 있고 그 인프라는 이미 있다. 다만 대조군은 RoboTwin 2.0이어야 하고(양팔), action 수치 스케일은 실측 결과 호환된다.

진짜 리스크는 embodiment가 아니라 두 가지다: (1) 121h는 실험을 underpowered로 만든다 → 데이터를 늘려야 한다, (2) cross-embodiment 전이는 논문도 보이지 않은 미검증 가설이다. 즉 이건 엔지니어링 문제가 아니라 연구 질문이다.

배포 불가라는 제약이 오히려 view 선택을 바꾼다: 6-view의 풍부함은 배포 가능한 양팔 policy에나 의미가 있다. 표현 pretraining엔 시간·장면·task 다양성이 더 중요하므로 A안(head_main only, 2,000h 전체, 2.88 TB)이 E안(6-view, 121h)보다 낫다. 논문 대비 3% → 50%가 된다. 다운로드는 실측 837 MiB/s라 ~0.9h.

5 Next Steps

미해결 한계

(a) RoboTwin transfer 실험으로 진행 / (b) action 빼고 egocentric 비디오 world-model corpus로만 사용 / (c) 중단 — 세 옵션 중 결정 대기 상태였다. (실제로는 이후 (b) 방향, world-action-model 학습으로 확정됨 — 관련 내용은 X-WAM 컨버터 검증 리포트 참조.)

다음 작업

(a)로 갈 경우 실험 설계 먼저: RoboTwin 성공률의 시행 간 분산을 먼저 측정해 검출 가능한 최소 효과크기(MDE)를 구하고, 그에 맞춰 시행 수를 정한다. 이걸 안 하면 결과가 나와도 해석할 수 없다. 어느 쪽이든 head_main 전체(2.88 TB) 확보는 손해가 아니므로 선행 권장.