Sharpa RL 추종 결과

TL;DR

10/21 리포트에서 "결과 대기"였던 두 RL 추종 실험이 완료됐다. FDR 210-clip 정책은 500M steps에서 물체 성공 11.9%로 아직 상승 중이고, CHORD per-sequence expert는 87.5%다. 우리 IK 파이프라인은 TACO에서 0/230이었다.

11.9%

FDR obj_1.0 (210 clips)

87.5%

CHORD SR (1 seq, 64 worlds)

2.06 cm

CHORD mean ADD

0/230

우리 IK 파이프라인 (TACO)

1 배경 / 목적

contact IK 파이프라인은 H2O floating Sharpa에서 322/829(39%)였지만, TACO에서는 처음부터 쥔 얇은 도구 때문에 0/230이었다. 그래서 시뮬레이터에서 RL로 사람 궤적을 추종하는 두 방법을 시험했다. FlashDexRetarget은 multi-clip 정책 1개를, NVIDIA V2D/FlashCHORD는 sequence별 expert를 학습한다.

2 작업 내용

FDR 203738 : 210 clips / 65,310 frames, 2,048 envs, 500M env steps, FlashSAC, seed 42, B200 x1 core-own FDR commit cf80267 + tmp/fdr/jobs/203738/source.patch CHORD 204649: TACO brush__brush__bowl_20230919_036 (262 frames), 4,096 worlds, 250,003,456 env steps CHORD 204650: eval 64 worlds, frame 0부터, object assistance 없음 -> tmp/chord/runs/204649/metrics.json

3 결과

FDR 203738 — COMPLETED (1-16:00:09, 3,497 env steps/s)

지표 (210 clips)	값
success_rate_obj_1.0 (= 10 cm / 30°)	0.119 (L 0.157 / R 0.157)
success_rate_obj_2.0	0.205
success_rate_1.0 (손+물체)	0.095
success_rate_obj_0.5	0.000
success_rate_spider	0.162
archived_frac	0.224

env steps	120M	140M	240M	320M	400M	440M	480M	500M
obj_1.0	0	0.009	0.024	0.029	0.071	0.086	0.114	0.119
obj_2.0	0	0.009	0.062	0.100	0.129	0.191	0.205	0.205

120M까지는 0이었고, 이후 꾸준히 올라 500M에서도 포화되지 않았다. checkpoints/step499968000/에 replay buffer와 resume_state가 있어서 이어서 학습할 수 있다(116 GB).

FlashCHORD 204649 / 204650 — 학습 01:24:17

지표 (64 worlds, 348 steps)	값
CHORD SR	0.875 (실패: object 0.125, wrist 0.016)
ManipTrans SR / SPIDER SR	0.953 / 0.953
mean ADD (std) / ADD AUC	2.06 cm (3.36) / 0.884
물체 위치 / 자세 오차	1.94 cm / 5.4°
MPPE / relative position error	2.47 cm / 3.13 cm

render 204651 FAILED: pyglet NoSuchDisplayException: Cannot connect to "None". headless EGL 렌더 설정이 필요하다.

4 Takeaway

처음부터 쥔 얇은 도구는 IK 기반 방식(0%)으로는 풀리지 않았지만, RL 물리 추종으로는 풀린다. 다만 세 지표의 정의가 서로 달라서(우리 ADD-S, FDR 10 cm/30° 시간 평균, CHORD SR) 순서(우리 < FDR < CHORD per-seq)만 의미가 있다. CHORD 87.5%는 시퀀스 1개에 과적합한 expert의 수치다. 230 seq로 늘리면 약 320 GPU·h가 든다. FDR은 compute가 부족했다.

5 Next Steps

미해결

RL rollout을 Ego2Robot LeRobot export(이미지 render + action)로 넘기는 경로가 없다. floating hand 결과라서 UR5e 장착 시 도달성은 확인하지 않았다.

CHORD render(EGL) 수정 → 시퀀스 몇 개 더(얇은 손잡이 포함)로 일반성 확인 → 같은 sample에 우리 ADD-S 판정을 적용해 지표 통일 → FDR을 step499968000에서 이어 학습할지 결정.

Sharpa RL 추종 결과 — FDR 210-clip + FlashCHORD 1-seq