ego2robot repo + sim feasibility

TL;DR

코드 59개 파일(1.1 MB)을 private repo에 push함. third_party(3.5 GB)는 pinned commit을 setup script로 받게 하고, 새로 설치해서 기존과 동일한지 검증함.
H2O에는 8개 물체의 textured mesh, 프레임별 6D object pose, camera pose가 있음. 따라서 새 annotation 없이 episode별 digital twin과 자동 성공 판정을 만들 수 있음.
다만 최종 695 ep 중 385 ep(55%)는 ALOHA(58 mm stroke)로는 물체를 쥘 수 없음 (chips 72, milk 74, cocoa 81, cappuccino 112 mm). 시뮬 검증 전에 로봇 선택이 먼저임.

files pushed

8/8

pinned clones OK

55%

eps: 물체 > 58 mm

174

grab/place 가능 eps

1배경/목적

프로젝트에 git 이력이 없었음. 사용자 질문: "실제로 학습해서 되는지 보려면 H2O와 같은 세팅을 시뮬에 만들어 성공을 확인해야 하지 않나?" 이에 대한 근거를 마련하려고 재구성 가능성과 물리 제약을 점검함.

2작업 내용

repo https://github.com/KEH0T0/ego2robot (PRIVATE, main, 8449c77) include ego2robot/ tests/ configs/ scripts/ docs/ claude/ tools/verify_dataset.py envs/ README.md exclude third_party/ tmp/ logs/ slurms/ caches (secret 패턴 grep: 없음) setup scripts/setup_third_party.sh : 8 repos @ pinned commit, ProPainter weights, glvnd debs envs envs/ego2robot.txt (py3.12, torch 2.8 cu128), envs/ego2robot-v21.txt (py3.10, lerobot 0.3.3)

3결과

object	최소 폭 (mm)	ALOHA 58 mm	최종 eps
espresso	32	가능	83
lotion	38	가능	102
book (두께)	39	가능	41
spray	46	가능	84
chips	72	불가	103
milk	74	불가	107
cocoa	81	불가	92
cappuccino	112	불가	83

동작별 채택 ep: place 172, grab 144, take out 118, open 79, put in 49, close 46, read 29, apply 24, pour 20, spray 9, squeeze 5. open, close, pour, spray, squeeze, apply는 lid나 액체가 필요해서 rigid mesh로 그대로 평가하기 어려움.

setup script를 새로 설치해 검증함: 8개 commit 일치, weights byte 단위 동일, glvnd 파일 목록 동일, 재실행 시 idempotent.

4Takeaway

분석

시뮬 closed-loop 검증은 맞는 방향임. 다만 학습보다 먼저 데이터 자체를 physics에서 replay했을 때 성공하는지 확인해야 함. 지금 데이터는 kinematic retargeting이라 grasp가 물리적으로 성립하는지 검증된 적이 없음. 특히 ALOHA는 데이터의 55%에서 물체를 쥘 수조차 없음. 6-DOF에 85 mm stroke인 UR5e + Robotiq 2F-85는 cappuccino를 뺀 7개 물체를 커버하고, 현재 코드 구조(6-DOF RobotSpec)에 맞음.

5Next

physics replay: episode별 twin(table, object mesh와 초기 6D pose, robot placement, camera trajectory)에서 action을 replay함. GT object trajectory 대비 성공률을 재고, 결과를 L4 물리 필터로 씀.
state 기반 policy(ACT/diffusion, joint + object pose)를 twin에서 closed-loop로 평가함.
image 기반 policy를 평가함. eval 렌더도 inpainted 배경(물체까지 제거) 위에 sim robot과 object를 합성해야 학습 분포와 맞음.

GitHub private repo + 재현성 정리 + 시뮬레이션 검증 타당성 점검

TL;DR

1배경/목적

2작업 내용

3결과

4Takeaway

분석

5Next