Sharpa RL tracking: FDR 210-clip vs FlashCHORD 1-seq (TACO)

TL;DR

TACO/Sharpa RL 추종 결과 · FlashDexRetarget 210 clip 500M steps: obj_1.0 성공 11.9% (120M까지 0, 500M에서도 미포화) · FlashCHORD 1-seq 250M steps: SR 87.5% (ADD 2.06 cm) · 기존 IK 파이프라인 TACO 0/230

11.9%

FDR obj_1.0

87.5%

CHORD SR (1 seq)

0/230

기존 IK TACO

40 h

FDR 학습

1배경/목적

kinematic+contact IK 파이프라인은 H2O floating Sharpa에서 moved 성공 322/829(39%)이지만 TACO는 0/230. 원인: 처음부터 쥔 도구, 얇은 손잡이(Sharpa 손끝 캡슐 r=8 mm), 시퀀스 전체에 걸친 엄격한 ADD-S 판정. 시뮬레이터 RL 추종 두 방법(FlashDexRetarget=FDR, FlashCHORD)을 TACO/Sharpa에 적용.

2작업 내용

FDR job 203738: TACO 232 sample → 210 clips / 65,310 frames 2,048 envs, 500M env steps, seed 42, FlashSAC, eval·ckpt 매 20M, B200 x1, core-own FDR commit cf80267 + tmp/fdr/jobs/203738/source.patch CHORD job 204649 (smoke 204647 → full 204649 → eval 204650 / video 204651) TACO brush__brush__bowl_20230919_036 1 seq (262 frames, 30 fps, 물체 2개) 4,096 worlds, 250,003,456 env steps, upstream Sharpa recipe (contact-wrench curriculum) eval: 64 worlds, frame 0부터, object assistance 없음

3결과

FDR 203738 — COMPLETED, 1-16:00:09 (3,497 env steps/s)

지표	값
success_rate_obj_1.0 (10cm/30°)	0.119 (L 0.157 / R 0.157)
obj_2.0	0.205
success_rate_1.0 (손+물체)	0.095
obj_0.5	0.000
spider	0.162
archived_frac	0.224

env steps	120M	240M	320M	400M	480M	500M
obj_1.0	0	0.024	0.029	0.071	0.114	0.119
obj_2.0	0	0.062	0.100	0.129	0.205	0.205

checkpoint step499968000 (replay buffer 포함 116 GB)로 재개 가능. 곡선 기울기 약 +0.01 obj_1.0 / 20M.

CHORD 204649/204650 — 학습 01:24:17

지표	값
CHORD SR	0.875 (실패: object 0.125, wrist 0.016)
ManipTrans / SPIDER SR	0.953 / 0.953
mean ADD	2.06 cm (std 3.36), AUC 0.884
물체 위치 / 자세 오차	1.94 cm / 5.4°
MPPE / rel. pos. error	2.47 / 3.13 cm

video 204651 FAILED: pyglet NoSuchDisplayException (headless EGL 미설정).

CHORD 87.5%는 시퀀스 1개에 과적합된 expert 수치. ADD-S / FDR 시간평균 / CHORD SR은 정의가 달라 직접 비교 불가.

4Takeaway

TACO의 처음부터 쥔 얇은 도구는 IK로 0%였으나 RL 추종으로 풀린다 (CHORD 1-seq 87.5%, FDR 210-clip 11.9%·상승 중). 순서상 우리 < FDR < CHORD per-seq만 의미 있음. 비용: FDR 500M에서 미포화, CHORD는 seq당 1.4 h → 230 seq ≈ 320 GPU·h.

5Next Steps

CHORD render 수정 (PYOPENGL_PLATFORM=egl/pyglet headless) 후 policy 영상 확인
CHORD를 쉬운/어려운(hammer 등) 시퀀스 몇 개로 확장해 87.5% 일반성 확인
FDR step499968000에서 추가 학습 여부 결정
같은 sample·초기 상태에서 CHORD·FDR rollout에 우리 ADD-S 판정 적용 (비교 기준 통일)
RL rollout → Ego2Robot LeRobot export 경로 부재 (데이터셋 생성의 본 목적)
floating hand 결과 — UR5e 장착 도달성 별도 확인