UR5e 2F-85 robot

TL;DR

bimanual ur5e_2f85를 추가함. stroke는 85.16 mm로 H2O 물체 8개 중 7개를 쥘 수 있음(cappuccino 112 mm만 예외).
adversarial 리뷰에서 IK 결함 3개를 찾아 수정함. 이 수정은 ALOHA에도 적용됨.
- 같은 팔 self-collision을 검사하지 않았음: UR5e에서 최대 64.9 mm, 362 frame 관통.
- ±2π 범위 관절 값이 2π 차이로 저장됨(라벨 aliasing).
- gripper 개폐를 쓸 때 거리 guard를 우회함.
로봇과 무관한 SAM 3 mask와 ProPainter 결과는 import-stages로 hard-link해 재사용함. 184/184 seq에 5초 걸림.
UR5e 전체 변환(job 198611)과 새 IK로 하는 ALOHA 재변환(job 198612)을 실행함. 물리 재생 검증 stage는 workflow로 구현 중.

85.16 mm

2F-85 stroke

64.9→0 mm

UR5e self-overlap

0.162

UR5e IK fail (ALOHA 0.088)

198

tests passed

1배경/목적

ALOHA 그리퍼 stroke는 58 mm임. 최종 695 ep 중 385 ep(55%)가 이보다 넓은 물체(chips 72, milk 74, cocoa 81, cappuccino 112 mm)를 다룸. 그래서 물리 재생 검증을 하더라도 절반 이상은 시작부터 실패가 정해져 있음. 사용자 결정에 따라 그리퍼가 넓은 로봇을 추가하고 전체 데이터셋을 다시 변환함.

2작업 내용

robots.py: UR5e + 2F-85

menagerie 2F-85(8 hinge, tendon, equality linkage)를 MjSpec attach로 UR5e attachment_site에 붙임.
finger joint를 N개 hinge/slide로 일반화함.
gap LUT: 그리퍼 단독으로 command 0..247을 sweep하고 rigid linkage에 투영해 만듦.
- gap 정의는 ALOHA/YAM과 같은 pad box 간 거리임.
- closure residual은 1.1e-9 m 이하.
모든 로봇에 arm_actuators, gripper_ctrl_from_gap, BimanualModel.ctrl_from()을 추가함. 물리 시뮬레이션용임.

IK 결함 수정 (리뷰 결과)

결함	증거	수정
같은 팔 self-collision을 검사하지 않음 (critical)	o2/4 왼팔 338/728 frame에서 gripper가 자기 forearm 안에 있음. 최대 64.9 mm 관통이고 IK는 성공으로 집계됨.	`self_collision_pairs()`를 guard에 추가. multi-start, recovery, 안전검사에 적용
2π joint aliasing (major)	o1/2 shoulder_lift가 4.74–5.43 rad로 기록됨(다른 ep는 ≈ −1). export label 분산이 0.63에서 2.08 rad로 커짐.	`wrap_to_ref()`: home에 가장 가까운 등가각으로 옮김
gap write가 guard를 우회	arm-arm 거리가 10 mm까지 떨어짐(floor 20 mm). table 관통 2.55 mm.	`_write_gaps`: gap 변화를 bisection으로 줄여 floor를 넘지 않게 함
frame 0에서 두 팔이 관통	o1/2 forearm끼리 36.5 mm, 34 frame	관통 시 한 팔씩 재해결

import-stages + placement

import-stages: segment/inpaint 출력을 hard-link하고 marker에 imported_from을 남김. data/video/segment/inpaint 설정이 다르면 거부함.
UR5e placement: x를 +0.05까지 허용하면 IK 실패는 0.136으로 줄지만, 팔꿈치가 카메라를 가려 coverage가 37%가 됨(ALOHA 16%). 그래서 x ≤ −0.25를 택함.

3결과

6개 check sequence(h1/1, k1/3, h2/3, o1/2, k2/2, o2/4), prepare만 실행:

	UR5e 수정 전	UR5e 수정 후	ALOHA production	ALOHA 수정 후
IK-failure ratio 평균	0.181	0.162	0.086	0.088
self-overlap 최대 / >1 mm frame	64.9 mm / 362	0 / 0	12.8 mm / 10	0 / 0
arm-arm 최소거리	10.0 mm	19.0 mm	16.8 mm	19.0 mm
table penetration 최대	2.55 mm	1.00 mm	1.00 mm	1.00 mm
frame-0 관절이 home의 π 이내	3/6	6/6	6/6	6/6
L1 통과 action segment	15/32	16/32 (1801 fr)	22/32 (2303)	21/32 (2220)

subject1/h1/1 frame 330. 좌상: 원본, 우상: SAM 3 mask, 좌하: inpaint, 우하: UR5e + 2F-85 composite. 오른쪽 그리퍼가 74 mm milk carton을 감쌈. 수정 전 run의 이미지임.

gripper command → gap 동역학 settle 오차: UR5e 0.013 mm(중력 포함 0.040), YAM <0.0001 mm. ALOHA는 <0.0001 mm이고 gap 0에서만 0.9 mm.

trade-off: gap write를 제한하면 손이 서로 비비는 구간에서 그리퍼가 사람 손을 늦게 따라감. UR5e h2/3 "apply lotion" 248 frame에서 요청 80 mm에 실제 59 mm였고, ALOHA는 지연이 12.7 mm 이하임.

4Takeaway

의미

85 mm stroke 로봇이 생겨서 물리 재생 검증이 "애초에 쥘 수 없는 물체" 때문에 무의미해지는 문제가 대부분 사라짐.
self-collision guard는 ALOHA production 데이터의 숨은 결함도 없앰: IK 실패 frame에 있던 최대 12.8 mm self-overlap.
UR5e는 팔이 굵어서 두 손이 교차하거나 맞닿는 동작에서 ALOHA보다 IK 실패가 많음(0.162 vs 0.088). 데이터 수율은 비슷하거나 약간 낮을 것으로 예상함.

5Next

UR5e 전체 변환(198611, own 8 GPU)과 ALOHA 재변환(198612): git worktree snapshot tmp/runs/69a6871에서 실행하므로 개발 중인 코드 수정과 섞이지 않음.
물리 재생 검증 stage(workflow 진행 중):
- H2O 물체 mesh를 GT pose에 놓고 로봇은 자기 actuator로 dataset action을 재생함.
- ADD-S로 GT 물체 궤적과 비교해 성공을 판정함.
- 물체를 든 채 시작하는 ep는 settle weld로 초기화함.
- 결과는 L4 export filter로 씀.
검증할 가설: dataset gap(fingertip keypoint 거리 − 12 mm)이 grasp 시 물체 폭 이상이라서 그리퍼가 물체를 조이지 못할 수 있음.

넓은 그리퍼 로봇(UR5e + Robotiq 2F-85) 추가와 IK self-collision 수정