Sharpa RL 같은 clip 비교

TL;DR

앞 리포트는 CHORD 1 seq, FDR 6 clip(성공 archive)이라 비교가 안 됐다. 이번에는 같은 7 clip(CHORD 시퀀스 + FDR archive 6개)에서 FDR 최종 정책과 CHORD 실제 속도(1.0×) expert를 돌려 사람 영상 시점에 나란히 놓았다.
CHORD 87.5%는 반속도 효과가 컸다: 같은 시퀀스를 1.0×로 다시 학습하면 SR 0.875 → 0.55.
1.0× CHORD expert는 7개 중 2개만 SR ≥ 0.5(brush/bowl 0.55, teapot/cup 0.59), 나머지 5개는 SR ≈ 0이다.
FDR 최종 정책은 2/7 통과(3 cm / 30°). 앞서 보여 준 성공 archive 6개 중 4개가 최종 정책에서는 실패한다. archive는 clip마다 "처음 성공한 checkpoint"를 저장한 것이라 최종 정책보다 좋게 보인다.
두 방법이 푸는 clip이 거의 겹치지 않는다: CHORD는 brush/bowl, teapot/cup을 풀고 FDR은 못 푼다. FDR은 brush/cup, knife/plate를 풀고 CHORD는 못 푼다.

2 / 7

FDR 최종 정책 통과

2 / 7

CHORD 1.0× SR ≥ 0.5

0.875 → 0.55

CHORD 0.5× → 1.0×

22 / 210

FDR 최종 정책 전체

1 배경 / 목적

앞 리포트(Sharpa RL Tracking 영상)에는 CHORD 영상이 1개, FDR 영상이 6개였다. CHORD는 시퀀스마다 정책을 새로 학습해야 하는데 파일럿을 1개만 돌렸고, FDR은 학습 중 성공한 clip만 자동 저장하기 때문이다. 이 구성에는 문제가 세 가지 있었다.

두 방법이 서로 다른 clip을 보여 줬다.
FDR 영상은 성공 clip만 골라서 보여 줬다.
CHORD는 사람 동작을 반속도(motion_speed 0.5)로 따라갔다.

목적: 같은 clip, 같은 실제 속도, 같은 성공 기준으로 두 방법을 나란히 보고, 실패하는 모습도 확인한다.

2 작업 내용

FDR 전체 clip rollout: 최종 checkpoint(500M)로 210 clip을 한 번 평가하면서, 성공 여부와 관계없이 모든 rollout을 저장했다(fdr_eval_all.py가 export_success의 pass mask를 전부 true로 바꿈, job 211337). 이 평가의 obj@1.0 SR은 10.5%이고, rollout으로 직접 계산한 3 cm/30° 통과율 22/210(10.5%)과 일치한다.
CHORD 7 시퀀스, 1.0×: chord_prepare_seqs.sh로 6개 시퀀스를 전처리했다(물체 mesh 연결 → MANO loader → Sharpa retarget → 받침면). 이어서 chord_train_seq.sh <seq> 1.0을 시퀀스당 job 1개로 돌렸다. 레시피는 파일럿과 같고(250M steps, seed 42) task.motion_speed=1.0만 다르다. 이후 64-world 평가를 했다. job당 1.2–1.8 h(1 GPU, extra QOS).
성공 기준 통일: CHORD 평가 궤적(64 worlds)에 FDR 기준을 그대로 적용했다. 물체별 시간 평균 위치/회전 오차 중 큰 값이 3 cm 이하이고 30° 이하이면 통과다(chord_clip_errors.py). CHORD SR과 거의 같은 값이 나왔다.
3-panel 영상: [사람 | FDR | CHORD]를 TACO 프레임 번호로 맞춰 합성했다(compose_same_clip.py). 반투명 초록이 사람 demo의 물체 pose다. 세 패널이 같은 시점을 보여 주는지 프레임 번호로 확인했다(예: TACO 122 ↔ FDR 241 ↔ CHORD 0.5× step 162).
clip 구간이 같은지 확인했다: FDR 프레임 수/60과 CHORD step 수 × speed/20의 차이가 7 clip 모두 0.1 s 이하다.

3 결과

clip	FDR archive (처음 성공)	FDR 최종 정책 오차 / 통과	CHORD 1.0× SR	CHORD FDR 기준 SR	CHORD median 오차 (64 worlds)
`brush / brush / bowl_20230919_036`	—	68.4 cm / 146° ✗	0.55	0.62	2.2 cm / 4°
`brush / brush / cup_20231026_006`	2.3 cm / 24° @260M	1.2 cm / 22° ✓	0.02	0.02	53.8 cm / 89°
`cut / knife / plate_20231015_263`	1.9 cm / 27° @340M	2.0 cm / 20° ✓	0.00	0.00	10.6 cm / 49°
`empty / teapot / cup_20230927_040`	1.1 cm / 22° @460M	59.0 cm / 140° ✗	0.59	0.72	1.1 cm / 3°
`put_in / bowl / bowl_20231013_140`	2.7 cm / 24° @420M	1.7 cm / 30° ✗	0.00	0.00	6.4 cm / 27°
`smear / soap / plate_20230927_056`	1.3 cm / 27° @380M	1.3 cm / 33° ✗	0.00	0.00	10.9 cm / 17°
`stir-fry / spoon / pan_20231020_071`	1.9 cm / 23° @480M	55.8 cm / 82° ✗	0.00	0.00	16.4 cm / 26°
`brush / brush / bowl_20230919_036` (CHORD 0.5×)	—	—	0.88	0.95	1.7 cm / 3°

오차는 물체 2개(tool, target) 중 큰 쪽의 시간 평균이다. 통과 기준은 3 cm 이하이면서 30° 이하다. FDR은 결정적 평가 1회, CHORD는 64 worlds(초기 상태 무작위화)다. 마지막 회색 행은 반속도 파일럿이다.

반속도 파일럿 vs 실제 속도 (같은 시퀀스 brush / bowl_036)

[사람 | FDR 최종 정책 | CHORD 0.5× 파일럿]. FDR은 brush를 잡지 못하고 손만 궤적을 따라간다(물체는 테이블에 남음).

같은 clip, 실제 속도: [사람 | FDR 최종 정책 | CHORD 1.0× expert]

brush / brush / bowl_20230919_036

FDR 최종 정책 68.4 cm / 146° (실패) · CHORD 1.0× SR 0.55, 64 worlds median 2.2 cm / 4° (영상은 world 0)

brush / brush / cup_20231026_006

FDR 최종 정책 1.2 cm / 22° (통과) · CHORD 1.0× SR 0.02, 64 worlds median 53.8 cm / 89° (영상은 world 0)

cut / knife / plate_20231015_263

FDR 최종 정책 2.0 cm / 20° (통과) · CHORD 1.0× SR 0.00, 64 worlds median 10.6 cm / 49° (영상은 world 0)

empty / teapot / cup_20230927_040

FDR 최종 정책 59.0 cm / 140° (실패) · CHORD 1.0× SR 0.59, 64 worlds median 1.1 cm / 3° (영상은 world 0)

put_in / bowl / bowl_20231013_140

FDR 최종 정책 1.7 cm / 30° (실패) · CHORD 1.0× SR 0.00, 64 worlds median 6.4 cm / 27° (영상은 world 0)

smear / soap / plate_20230927_056

TACO의 이 시퀀스 egocentric extrinsic은 카메라가 위(천장)를 향한다. 물체가 201 프레임 모두 카메라 뒤(z < 0)에 있어서 사람 영상 시점 overlay가 불가능하다. 그래서 [FDR | CHORD]를 고정 3인칭 카메라로 보여 준다(FDR: 파란 반투명이 reference, CHORD viewer에는 reference가 표시되지 않음).

FDR 최종 정책 1.3 cm / 33° (실패) · CHORD 1.0× SR 0.00, 64 worlds median 10.9 cm / 17° (영상은 world 0)

stir-fry / spoon / pan_20231020_071

FDR 최종 정책 55.8 cm / 82° (실패) · CHORD 1.0× SR 0.00, 64 worlds median 16.4 cm / 26° (영상은 world 0)

4 Takeaway

해석

"CHORD는 압도적, FDR은 아직 부족"이라는 앞 리포트의 결론은 철회한다. 비교 조건(반속도, 성공 clip만 고름)이 달랐기 때문이다. 같은 조건에서 두 방법의 성공률은 비슷하게 낮다(7개 중 FDR 2개, CHORD 2개).
속도가 가장 큰 난이도 요인이다. 같은 seq, 같은 레시피에서 0.5× → 1.0×로 바꾸면 SR이 0.875 → 0.55로 떨어진다. 1.0×에서 control step이 절반이라 손이 물체를 쫓아가는 속도가 2배 필요하다.
두 방법이 실패하는 clip이 다르다. 이런 상보성은 데이터셋 관점에서는 이득이다. clip마다 두 방법 중 성공한 rollout을 쓰면 7개 중 4개를 덮는다.
FDR 성공 archive는 학습 중 어느 checkpoint에서든 한 번 성공한 rollout을 모은 것이다(47/210). 데이터 수집 관점에서는 유효한 rollout이지만, 정책 품질을 나타내는 수치는 최종 정책 기준 22/210이다.

주의: 7 clip은 FDR이 한 번은 성공한 clip 6개와 CHORD 파일럿 1개로 골랐다. 그래서 FDR 쪽으로 기울어진 표본이고, 210 clip 전체를 대표하지 않는다. CHORD는 seed 1개, 하이퍼파라미터 튜닝 없이 돌린 결과다.

5 보완점 / 다음

CHORD 1.0× 실패 원인: 5 seq의 종료 원인이 대부분 object(100%)다. 학습 예산(250M → 500M)을 늘리거나 0.75×에서 시작하는 curriculum을 시험해 볼 수 있다.
FDR 추가 학습: step499968000에서 이어 학습해 최종 정책 통과율이 오르는지 본다(이번 7 clip을 고정 체크셋으로 사용).
데이터셋 관점의 선택: clip별로 FDR archive, FDR 최종 정책, CHORD 중 성공한 rollout을 고르는 "best-of" export를 시험한다. 이때 회전 기준은 30°보다 엄격하게 잡는다.

FDR eval-all: ego2robot-dexhand/tmp/fdr/eval_all/211337/ (success/ 210 rollouts, eval_metrics.json) CHORD runs: ego2robot-dexhand/tmp/chord/runs/{211330,211364..211369}/ (metrics.json, object_trajectories.parquet) scripts: scripts/fdr_eval_all.sh, scripts/chord_prepare_seqs.sh, scripts/chord_train_seq.sh overlay: tmp/rl_overlay/{render_fdr_ego.py, chord_ego.sh, compose_same_clip.py, chord_clip_errors.py, fdr_clip_errors.py} outputs: tmp/rl_overlay/out_final/ (각 render), tmp/rl_overlay/out_cmp/ (3-panel)

Sharpa RL: 같은 TACO 7 clip에서 FDR vs CHORD