2026-10-16 — Progress
Ego2Robot 재구현: H2O 이고 영상 → 양팔 로봇 LeRobot 데이터셋
ego2robot | retarget → placement/IK → SAM 3 → ProPainter → MuJoCo 합성 → L1/L2/L3 큐레이션 → LeRobot v2.1/v3.0
TL;DR
- Ego2Robot(코드 미공개) 레시피를 전부 구현해 H2O 시퀀스 →
observation.images.ego+ 14-D joint state/action + camera-frame EEF aux 를 가진 LeRobot 데이터셋을 만듦 (v2.1 & v3.0 둘 다 로드 검증). - login + worker(python:3.11 컨테이너, EGL/Triton) 둘 다에서 e2e 성공. 테스트 146 passed, 5-차원 리뷰 → 확인된 결함 19건 전부 수정.
- 로봇 선택: 브랜치 점프를 실패로 정직하게 셀 때 ALOHA(table) 프레임 실패 0.19 vs YAM 최선 0.50 → ALOHA를 기본으로. YAM은 config 하나로 교체 가능.
- 전체 변환(184 seq, 114,329 frames) 8-GPU own 잡 제출 (196898 → export 196899).
184
H2O seqs
114K
frames
146
tests passed
0.19
ALOHA IK fail
0.50
YAM IK fail
4.5/5
VLM score (h1/0)
1 배경 / 목적
Ego2Robot 블로그(Qwen/RUC, arXiv 2608.02580)는 이고센트릭 사람 영상을 15개 로봇 형태의 학습 데이터로 바꾸지만 Code 링크가 #(미공개). 목표는 같은 레시피를 재구현해 H2O(양손, GT 3D 손 관절 + RGB-D + 카메라 포즈)를 학습 가능한 로봇 데이터셋으로 만드는 것.
핵심 난점: 손 포즈를 로봇이 실제로 따라갈 수 있는지(기구학적 실현 가능성), 사람 팔 제거/로봇 합성의 시각적 품질, 학습 프레임워크 호환(v2.1 vs v3.0).
2 작업 내용
| 단계 | 구현 | 핵심 설정 / 근거 |
|---|---|---|
| Retarget | TCP=엄지·(검지,중지)끝 중점, 폭=끝 거리−1.2cm | approach(palm→TCP) 우선, closing축은 tip/proximal 블렌딩, 25° 이상 회전 outlier 재보간, rot SG 창 15 → 회전변화 p99 22.9→~10°/frame |
| Table frame | depth RANSAC+SVD | up-hint = 카메라 −y/−z 이등분선 (subject2 가파른 시선 15/43 실패 버그 수정) |
| Placement + IK | mink 1.3 + daqp, 양팔 충돌·테이블 회피 | 프레임당 관절 스텝 박스 0.12 rad (4 rad/s 초과 프레임 72→2), 브랜치 점프=실패 |
| Segment | SAM 3 ("hand","arm") + GT 키포인트 클릭 | 21.6 GiB / 450 frames, 관절 recall ≥0.97(depth 확인) |
| Inpaint | ProPainter in-memory API | 640×360 fp16, 45 s / 450 frames, <128px NaN 버그 차단 |
| Render/Composite | MuJoCo EGL, OpenCV intrinsics | 2× supersample alpha/depth/arm-id, scene depth+3cm 가림 |
| Curation | L1/L2 + L3 Qwen3-VL-8B | IK fail>10%, 충돌, 관절 점프>8 rad/s, TCP 점프, robust z-score, VLM score≥3 & 사람 미노출 |
| Export | lerobot 0.3.3 (v2.1) → 공식 변환기 (v3.0) | state/action 14-D joint (action=state[t+1]), aux: eef_cam(rot6d), eef_cam_quat(xyzw), base/cam poses, 사람 키포인트 |
conda activate /home/nas_main/taewoongkang/conda_envs/envs/ego2robot
sbm "bash scripts/run_pipeline.sh configs/h2o_aloha.yaml 8 segment main vlm" --qos=own --gres=gpu:8 -c 64 --mem 1600GB --container=python:3.11 --time=05:00:00
python -m ego2robot.cli export --config configs/h2o_aloha.yaml --overwrite # v2.1 + v3.0
3 결과
로봇 / 마운트 실현 가능성 (8 시퀀스, 프레임 실패율: pos>1.5cm or rot>20°)
| robot | table | shoulder 90° | 135° | 180° |
|---|---|---|---|---|
| ALOHA (ViperX) | 0.187 | 0.433 | 0.488 | 0.464 |
| YAM | 0.500 | 0.739 | 0.505 | 0.668 |
함정: 단일팔 IK 기준으로는 shoulder 마운트가 ~1.0 성공처럼 보였지만, recovery multi-start가 한 프레임에 joint1을 −0.49→2.68 rad로 순간이동시킨 결과였음. 브랜치 점프를 실패로 세자 순위가 뒤집힘.
단계별 처리 시간 (subject1/h1/0, 450 frames, B200 1장)
| prepare | SAM 3 | ProPainter | render | VLM |
|---|---|---|---|---|
| 9–20 s | 125 s | 45 s | 55–72 s | 52–77 s |
ALOHA, subject1/h1/0 t=200 — (좌상) 원본, (우상) SAM 3 마스크, (좌하) ProPainter, (우하) 로봇 합성. L1/L2 통과, VLM 4.5/5.
YAM, subject2/k1/0 t=250 (worker 스모크 테스트).
4 Takeaway
데이터 손실의 주원인은 비전 품질이 아니라 기구학적 실현 가능성. 손목 가동범위 ±90° 6-DOF 팔(YAM/WXAI/PiPER)은 H2O의 공중 조작(따르기/읽기/바르기)을 대부분 못 따라감. 실현 가능성 평가는 반드시 연속성(브랜치 점프)을 포함해야 하며, 그렇지 않으면 성공률이 2–4배 부풀려짐.
5 보완점 / 다음
- 전체 변환 잡(196898) 결과: accept 비율·에피소드 수로 이 리포트 업데이트.
- ALOHA 그리퍼 58mm → 넓은 물체(칩스 72, 우유 74, 코코아 81, 카푸치노 112mm) 시각적 관통. 7-DOF·넓은 스트로크 로봇(Franka/OpenArm) 추가 위해 IK/export N-DOF 일반화.
- k2/4, o1/2 같은 공중 조작 시퀀스는 ALOHA도 50%+ 실패 → 실패 포즈 시각화 후 방향 임계 재검토.
- test split 무라벨 세그먼트 VLM 분류 2/4 정확도 → object 정책 또는 프레임/디코딩 개선.