Closed-loop WAM 평가 환경 + UR5e 배치 개선

TL;DR

학습한 WAM을 H2O 트윈에서 closed-loop로 돌리는 경로를 끝까지 연결. 스모크 모델로 2 episode 완주.
val 61 ep 기준 오라클(데이터셋 action 재생) 31/61, hold 0/61.
UR5e 배치 F2b_w0: 팔이 눈높이 위인 프레임 67%→2.7%, moved 성공 82→79 (40 seq).

31/61

오라클

0/61

hold

2.7%

link>카메라 (67%→)

0.6 mm

env vs replay 최대 차이

1배경/목적

목표는 로봇·사람 영상과 action으로 WAM을 학습하고 시뮬에서 closed-loop로 성공을 확인하는 것. 기존 시뮬은 데이터셋 action을 open-loop로 재생(§17)만 했고 빠진 것이 4개였다.

학습 이미지의 물체는 실제 영상 픽셀이라, rollout 화면에서 물체가 로봇과 무관하게 녹화대로 움직임
reset/step API 없음
성공 판정이 "사람 궤적을 프레임마다 따라갔나"라 다른 속도의 정책을 판정 불가
평가 분할 없음

UR5e 팔이 너무 높음: 관절 기준 20% 프레임에서 눈높이 위, 카메라까지 거리 p10 0.19 m.

2작업 내용

§19.1 물체 일관 관측 (6c21e26)

inpaint.remove_object: GT pose 물체 실루엣을 10 px dilate해 사람 mask와 함께 제거(object_masks.npz)
render.render_object: 텍스처 물체를 로봇과 한 장면에서 렌더. 사람·물체 mask 안 녹화 depth 무시, 배경 링 기반 채널별 gain
관측 함수 하나(object_view.ObservationRenderer)를 render stage와 env가 공유. 기본 off면 출력/hash 불변

§19.4 Long-WAM 연결

integrations/longwam/: 288×512 ego, P48, chunk 32, min/max 정규화. text 캐시 36개, robotwin2-idm에서 14-D action/proprio I/O를 뺀 init
websocket 서버 serve.py + 클라이언트 ego2robot/policy_client.py

§19.2–19.3 env (c59c588)

ego2robot/sim_env.py H2OSimEnv: reset은 replay와 같은 시작/settle, step은 replay control law(공유 함수)로 1프레임씩 진행, state는 측정 14-D
ego2robot/tasks.py: grab/place/pour/spray/squeeze 판정
tools/make_eval_split.py: H2O val에서 판정 가능·feasible 61 ep. tools/eval_sim.py: replay/hold/longwam

UR5e 배치 연구 (4f3096f + merge b64d82d)

F1 카메라 벌점, F2 책상 가장자리 아래 받침대(finite table을 IK/curation/physics/env에 일관 적용), F3 어깨 마운트를 40 seq(val 24 포함)에서 prepare + physics로 비교.

데이터 갤러리 (409c3df)

tools/make_data_gallery.py: 층화 56 ep(accepted 44 + rejected 12)를 사람 | export 이미지 | physics + flag 타임라인 영상으로 생성.

3결과

항목	수치
물체 제거 (10 px dilate)	SAM 3가 물체를 찾은 프레임 347/348 → 0/348
물체 색 PSNR (held-out, blur)	기본 12.1 → 채널별 gain 13.7 dB (밝기만 13.0)
Long-WAM 스모크 학습 (10 step)	loss 2.22 → 1.22, 1.6 s/step (batch 8), 85 GB
서버 추론	612–620 ms (첫 호출 1.3 s), 13.2 GB, 잘못된 입력 8종 모두 명확한 에러
env vs replay	물체 위치 차이 최대 0.6 mm, physics 출력 byte-identical
val 61 ep 오라클	31/61 (grab 10/30, place 16/24, pour 2/3, spray 0/1)
val 61 ep hold	0/61

배치 비교 (40 seq, 211 ep, moved 196)

배치	IK fail	L1&L2 통과	최고 link p50	link>카메라	카메라 0.2 m 이내	moved 성공	static 유지
F0 기존	0.242	130	0.60 m	67%	58%	82	11/15
F2b_w0 (채택)	0.220	135	0.44 m	2.7%	5.2%	79	13/15
F2b_w1	0.209	130	0.33 m	1.6%	3.4%	69	12/15
F1_w1	0.351	96	0.49 m	18.6%	9.5%	61	13/15
F3_w0	0.263	116	0.57 m	46.5%	36.6%	71	8/15

병합 검증: 테스트 283개 통과, ALOHA production과 byte-identical(파일 10, 배열 148), 새 UR5e config가 연구 결과를 40 seq byte-identical로 재현.

갤러리에서 발견한 데이터 문제: frame_bad ≥ 90%인 accepted ep가 ALOHA 244/680, UR5e 66/518. _phys에도 관통 static ep 잔존. flag가 못 잡는 '떠 있는 물체' 5개(ALOHA).

4Takeaway

"학습 → 같은 트윈에서 closed-loop 평가" 경로가 코드로 끝까지 연결됨. 오라클이 51%(31/61)라 평가 상한이 데이터셋 action의 물리 품질과 grab 구간 절단(들어 올리는 순간)에 묶여 있다. 배치 변경은 시뮬 성공을 거의 유지(82→79)하면서 팔의 시야 침범을 크게 줄였다.

5Next Steps

UR5e production 재생성: job 201219(기본, replan+vlm), 201220(물체 렌더, main+vlm), 스냅샷 tmp/runs/409c3df, extra QOS + sbmr. 이후 physics → export → 갤러리/eval split 재생성
필터 규칙 결정(사용자 확인 대기): frame_bad 비율, static+관통 ep의 _phys 제외, '떠 있는 물체' 검출
Long-WAM 본 학습(4 GPU, 약 7–8 h 추정) 후 val 61 ep × seed 평가
물체 렌더 한계: 열린 뚜껑이 닫힌 mesh로 렌더, 그림자 없음. env state(측정)와 학습 state(계획 opening) 약 7 mm 차이