H2O → ALOHA 전체 변환 (184 seq, 114,329 frames) 및 LeRobot export

TL;DR

Pipeline: 184/184 seq 전 stage 통과(실패 0), 8 GPU 2h31m
채택: v1 527 ep / 46,188 frame → 최종 695 ep / 63,385 frame (후보 933 대비 74.5%)
v1 거부의 주원인은 IK recovery teleport와 잘못된 z-score feature (버그성). z-score 거부 158→10, joint jump 123→0

695

최종 채택 ep (v1 527)

63,385

frames (+37%)

2h31m

8 GPU 1차 실행

0.0740

ik_fail 평균 (p90 0.264)

1 배경 / 목적

H2O 전체(train/val/test 184 seq)를 bimanual ALOHA LeRobot dataset(v2.1/v3.0)으로 변환해 학습에 바로 쓰게 하는 것이 목표. 단일 seq e2e와 worker smoke(196576)는 검증됨 — 대규모 실행의 실패율·처리량·curation 통과율을 측정.

2 작업 내용

job 196898 e2r_aloha_full: 8 GPU, own QOS, --container=python:3.11 (SAM3 Triton gcc) run_pipeline.sh configs/h2o_aloha.yaml 8 segment main vlm (GPU별 shard 23 seq, --isolate) segment(SAM 3) → main(prepare/ProPainter/render/curate) → vlm(Qwen3-VL-8B) job 196899 e2r_aloha_export: CPU 32, afterany:196898 (v2.1 lerobot 0.3.3 → 공식 converter로 v3.0 lerobot 0.6.1) 수정 반영 재실행: job 197097 e2r_aloha_replan: 4 GPU, core-own. invalidate prepare(marker 736개 삭제) → replan vlm 수정: IK teleport 금지, approach-roll 5°/frame, z-score feature 교체. segment/inpaint는 재사용 job 197120 e2r_aloha_export2: afterok:197097. v1은 *_r1 로 보존 export feature 추가: aux.ik_transition (2,) = robot.npz["transition"] (구버전 robot.npz면 KeyError로 replan 안내)

transition mask를 추가한 이유: transition 프레임은 대부분 frame_bad에 포함되지만 consumer가 "branch 전환 이동 중" 프레임만 따로 mask할 수 있어야 한다. 테스트 10 passed, smoke export(subject1/h1/1, 3 ep) load 확인.

3 결과

1차 실행 (v1)

segment 74분 (mask coverage median 11.2%, 5.8–21.6%; SAM3 peak 50.1 GiB), main 65분 (prepare 13 s + inpaint 48 s + render ~60 s / seq), vlm 26분.
IK frame failure 평균 0.044 (p50 0, p90 0.177, max 0.389), 154/184 seq ≤ 0.1.
채택 527 ep / 46,188 frame (ep 길이 p10/p50/p90 = 46/76/146). 단독 거부: z-score 158, IK joint jump 123, ik_fail_ratio 36, gripper rate 16, VLM 9. VLM score 5점 857 / 3점 75 / 2점 1.

최종 (replan 197097 1h51m + export 197120 41 min)

split	후보	v1 채택	최종 채택	최종 frames
train	569	252	368	32,621
val	122	79	101	9,045
test (VLM label)	242	196	226	21,719
합계	933	527	695	63,385

단독 거부 사유	v1	최종
z-score	158	10
joint jump	123	0
ik_fail_ratio	36	187
gripper rate	16	18
L3 VLM	9	10

Production IK bound (184 seq, 114,329 frame): max joint step 0.1200013 rad (QP 허용오차), max site step 0.0400 m; ik_fail_ratio 평균 0.0740 / p50 0.028 / p90 0.264 / max 0.437 (≤0.1: 144 seq); transition 프레임 2.54% (108 seq).
ik_fail 거부 199 ep 분해: 실패 프레임 12,073 중 32.8%(3,960)가 transition. transition을 실패로 세지 않으면 107 ep 통과.
로드 검증 (v2.1·v3.0): 695 ep, 30 fps, 36 task, label source gt 469 / vlm 226. max |action[k]−state[t+1+k]| = 0, |state − robot.npz| = 1.13e-7, image−composite 평균 2.87/255. v2.1 959 MB, v3.0 914 MB.

4 Takeaway

H2O 전체를 실패 없이 처리, 8 GPU 기준 약 2.5시간이면 학습 가능한 LeRobot dataset 생성. 재현 가능한(joint ≤ 3.6 rad/s, TCP ≤ 1.2 m/s) bimanual trajectory 63k frame.

v1 채택률 56%는 kinematics/vision 한계가 아니라 IK teleport와 z-score feature 버그가 원인. 남은 손실은 kinematics: ALOHA wrist in-air 한계 약 2/3, greedy branch 선택의 transition 약 1/3.

주의: 이 695 ep는 kinematic 기준 — physics replay에서는 moved 성공 3/629 (별도 카드). grasp-aware 재변환이 필요.

5 Next Steps

sequence 전체 branch(flip) 선택을 DP/look-ahead로 사전 최적화해 transition 감소 (상한: ik_fail 거부 107 ep 복구 가설).
ALOHA stroke 58 mm 한계(넓은 물체 관통) → 7-DOF arm 위해 N-DOF IK/export 일반화.
test split VLM action label 정확도 개선 (동일 object 내 action 혼동).