Isaac Lab Franka 타격: 시도하며 적응하는 정책

1 과제와 장면

테이블에 고정된 Franka Panda가 닫은 그리퍼 아래 둥근 말렛으로 파란 퍽을 쳐서, 빨간 목표 원(반경 5cm) 위에 멈추게 한다. 한 에피소드는 같은 숨은 물성으로 5번 시도한다. EmbodiedSWE의 robobench(Isaac Lab 2.3, Isaac Sim 5.1)에 scene을 런타임 등록해서 쓴다.

히스토리 정책이 5번 시도하는 모습. 왼쪽이 front 카메라, 오른쪽이 wrist 카메라(둘 다 224×224, 정책 입력과 같은 화면). 12.5fps로 녹화.

목표까지 거리 0.22–0.38m, 방향 ±30°. 시도마다 마찰 3% 변동과 퍽 위치 2mm 이동을 넣었고, GPU 물리 자체의 비결정성도 있다.

2 학습 데이터

규모: 12,288 에피소드(64개 병렬 환경 × 192 샤드, 70GB). 에피소드 하나 = 숨은 물성과 배치를 고정하고 컨텍스트 시도 4회 + 오라클 시연 1회. 총 61,440번의 스윙을 Isaac에서 실행했다. 생성 속도는 64 에피소드당 85~100초(B200 1장), 4개 잡으로 약 1시간 20분.

(a) 오라클 시연은 어떻게 만드나

스윙은 방향 θ와 접촉 속도 v 두 값으로 정해지는 스크립트 동작이다: 준비 자세 → 퍽 뒤 8cm 지점으로 이동(0.5초) → θ 방향으로 가속해 v에 도달 → 퍽을 6cm 밀고 → 4cm 안에 급정지해서 퍽을 떠나보낸다. 이 손 경로를 미분 IK로 관절 목표 궤적(25Hz, 64스텝)으로 바꾼 것이 action이다. 에피소드마다 "진짜 물성에서 퍽이 목표에 멈추는 (θ, v)"를 Broyden 방법으로 탐색한다(배치 시도 8회). 탐색 잔차는 평균 0.38cm, 99퍼센타일 1.38cm이고(3,072개 표본), 찾은 스윙을 다시 실행했을 때 12,288개 중 12,252개(99.7%)가 목표 안에 멈췄다. 학습에는 성공한 시연만 쓴다.

같은 에피소드에서 왼쪽은 물성을 알고 찾은 오라클 스윙, 오른쪽은 평균 마찰을 가정한 스윙. 물성을 모르면 같은 배치에서도 빗나간다(마찰 0.0331, 평균 가정 0.026).

(b) 컨텍스트 시도는 어떻게 만드나

정책이 "이전에 이렇게 쳐 봤더니 이렇게 됐다"로 읽을 재료다. 오라클 스윙의 속도에 3–50% 크기의 무작위 오차(로그 정규), 방향에 그에 비례하는 오차를 넣은 스크립트 스윙이고, 에피소드의 절반은 첫 시도를 평균 마찰 가정 스윙으로 했다. 시도마다 마찰 3% 변동과 퍽 2mm 이동이 들어간다. 컨텍스트 시도의 속도 오차는 평균 |log(v/v*)| 0.18~0.20, 정지 위치 오차 중앙값 7.5cm, 시도별 성공률 약 34%다(3,072개 표본).

학습 데이터의 한 에피소드에 저장된 컨텍스트 시도 4개(시도당 8프레임, 실제 저장된 화면). 마찰 0.0182, 질량 0.193kg, 경사 0.31°; 오라클 속도 0.288 m/s에 대해 0.352, 0.335, 0.170, 0.281 m/s로 쳤고 네 번째만 성공.

같은 컨텍스트 시도를 펼친 것. 한 줄이 시도 1회(0, 0.7, 1.1, 1.5, 1.9, 2.4, 3.2초, 정지 후).

오라클 시연에서 정책 질의 시점(0, 0.64, 1.28, 1.92초)의 관측. 위 front, 아래 wrist.

분할: 학습 데이터는 학습 범위에서만 뽑는다(보간 띠 제외). 마지막 600 에피소드는 검증용. 평가 에피소드는 다른 시드로 새로 뽑는다.

3 모델과 학습

학습 문제: 표본 = (에피소드, 과거 시도 수 k ∈ 0–4, 질의 시점 j ∈ 0–3). 입력은 오라클 시연의 j번째 관측·state와 저장된 컨텍스트 시도 앞 k개, 정답은 오라클 시연의 다음 32스텝 관절 목표. 모델은 컨텍스트 시도를 따라 하도록 배우지 않는다. 그것을 읽고 오라클이 했을 동작을 맞히도록 배운다.

저장된(스크립트) 컨텍스트로 재면 과거 시도 하나만 봐도 오차가 13배 줄어든다. 이 이득이 폐루프 성공률로 이어지지 않는 것이 5절의 핵심 문제다.

평가 방식: 64개 병렬 환경에서 정책을 폐루프로 실행한다. 시도마다 4번(0, 0.64, 1.28, 1.92초) 카메라를 렌더하고 state를 읽어 chunk를 받고, 관절 목표를 25Hz로 실행한다. 2.56초 뒤 팔은 멈추고 퍽이 설 때까지 기다린다. 다음 시도에는 방금 시도의 영상 8프레임과 실행 궤적이 컨텍스트로 들어간다. 모든 정책이 같은 에피소드와 같은 시도별 변동을 쓴다.

4 학습된 정책이 실제로 하는 것

세 칸은 같은 에피소드(같은 숨은 물성, 같은 시도별 변동)다. 왼쪽은 물성을 아는 오라클 스윙, 가운데가 히스토리 정책, 오른쪽이 기억 없는 정책. 평가용 시드의 처음 세 에피소드를 고르지 않고 실었다.

처음 보는 범위 #0 (마찰 0.0331, 질량 0.243kg, 경사 0.20°, 거리 0.261m). 히스토리 정책 1차 성공, 기억 없는 정책 2차 성공.

처음 보는 범위 #1 (마찰 0.0340, 질량 0.247kg, 경사 0.19°, 거리 0.301m). 둘 다 1차 성공.

처음 보는 범위 #2 (마찰 0.0340, 질량 0.238kg, 경사 0.19°, 거리 0.370m). 히스토리 정책 4차, 기억 없는 정책 3차 성공.

이 묶음 16개에서 첫 성공 시도는 히스토리 정책 [1, 1, 4, 실패, 1, 2, 1, 1, 1, 3, 1, 1, 1, 5, 1, 실패], 기억 없는 정책 [2, 1, 3, 2, 1, 3, 1, 1, 실패, 1, 1, 4, 실패, 2, 1, 실패]다. 장난감 버전처럼 "2~3번째에 확실히 고쳐 맞히는" 모습이 아니라, 두 정책 모두 맞을 때도 있고 빗나갈 때도 있다.

범위 밖 물성에서의 실패 사례(일부러 고름; 마찰 0.0095, 질량 0.360kg, 경사 0.36°, 거리 0.361m). 히스토리 정책과 기억 없는 정책 모두 5번 안에 못 맞혔고, 오라클도 3차에야 성공했다.

히스토리 바꿔치기. 왼쪽은 자기 시도를 본 경우, 오른쪽은 배치는 같고 물성이 다른 에피소드의 시도 기록을 보고 낸 명령을 그대로 실행한 경우.

5 수치와 진단

시도 횟수별 누적 성공률. 분할당 320 에피소드, 띠는 95% 신뢰구간.

전체 표: 학습 범위 (N=320)

전체 표: 처음 보는 범위(보간) (N=320)

전체 표: 범위 밖(외삽) (N=320)

괄호는 95% 부트스트랩 신뢰구간(에피소드 재표집 2,000회). 누적 성공률 = 그 시도까지 한 번이라도 목표 안에 멈춘 에피소드 비율.

히스토리 절제: 주 모델, 히스토리 삭제, 다른 물성의 히스토리, 기억 없는 정책.

과거 시도 표현 비교. 영상만 준 모델이 영상+행동과 같은 수준이고, 영상을 뺀 모델(행동+수치)이 가장 낮다.

시도별 변동 크기를 바꿨을 때 (보간, 3차까지 누적 %)

1x = 마찰 3% 변동 + 퍽 2mm 이동. 변동을 3배로 키워도 오라클이 98.4%라서 이 과제에서 시도별 변동은 거의 영향이 없다. 정책 성공률이 변동 크기와 무관하게 60~69%인 것은 한계가 정책 출력 쪽에 있다는 뜻이다.

수정 이력: 첫 버전(v1)은 시연 action이 "현재 관절 + 피드백 보정"이라 상태 차이에 민감했고 격차가 +11.7 / +5.5 / +9.0%p였다. 시연을 매끄러운 계획 궤적(절대 관절 목표)으로 바꾸고 chunk를 16 → 32스텝으로 늘린 것이 지금 수치(v2, +20.3 / +2.5 / +15.6%p)다.

6 이전 장난감 버전과의 차이, 다음 단계

한계: 과제 1개(퍽), 학습 시드 1개, 분할당 320 에피소드. 히스토리 삭제·바꿔치기와의 차이는 점 추정이다. 코드 try-and-suc/isaac/, 수치 results_isaac/summary.md, v1 결과 results_isaac_v1/.