1요약 (영상 평가 20 episode 기준)
| 모델 | 안착 | 입구 도달 | leg 근처도 못 감 (>100mm) | 시도 ≥2 | 마지막 시도가 첫 시도보다 가까움 | 재시도 후 안착 | 평균 시도 수 | 첫 시도 lateral 중간값 (mm) | leg를 못 세움 | 세웠지만 입구 못 감 | 입구에서 놓쳐 넘어짐 | 잡은 채 넘어짐 | 입구에서 멈춤 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| p48 최종 (192079 step 13690, history 48) | 6/20 | 14/20 | 3 | 0/14 | 0/0 | 0 | 1.00 | 2.6 | 5 | 1 | 7 | 2 | 0 |
| 원래+회복 1:1 (p768, 3000 step) | 1/20 | 7/20 | 3 | 0/7 | 0/0 | 0 | 1.00 | 10.1 | 10 | 3 | 4 | 2 | 0 |
| 원래만 대조군 (p768, 3000 step) | 1/20 | 8/20 | 4 | 0/8 | 0/0 | 0 | 1.00 | 2.9 | 9 | 3 | 3 | 4 | 0 |
시도 = leg 끝이 구멍 입구(lateral < 30 mm, depth < 5 mm)에 닿은 구간. depth > 12 mm로 물러났다가 다시 닿으면 새 시도. 그래프: 빨강 lateral, 파랑 depth, 회색 엔드이펙터 높이/2, 보라 leg 기울기/2, 올리브 그리퍼 폭−40, 주황 = 시도 구간, 초록선 = 안착. 영상은 2배속, 왼쪽 wrist · 오른쪽 front.
2분석
전체 수치 (비녹화 평가, seed 0–19 × 3 = 60 episode)
| 모델 | 안착 | 조립 완료 |
|---|---|---|
| p48 최종 (seed 0–9 × 3만) | 1/30 | 1/30 |
| 원래 + 회복 1:1 | 4/60 (6.7%) | 4/60 |
| 원래만 대조군 | 5/60 (8.3%) | 4/60 |
녹화 평가(seed 0–19 × 1)는 위 표와 별도로 한 번 더 돌린 것이다. p48이 여기서는 5/20이 나와 실행마다 편차가 크다(같은 seed라도 GPU 시뮬레이션 비결정성).
관찰 1 — 회복 데이터가 가르친 상황이 평가에서 거의 생기지 않는다
- 학습 데이터의 실패는 "leg를 잡은 채 구멍 옆 상판에 내려놓음 → 1 cm 들어 옆으로 고침 → 다시 내림"이다(lateral 8–26 mm, 그리퍼는 안착 직전까지 닫혀 있음).
- 평가에서 정책은 입구에 닿은 뒤 정렬 여부와 상관없이 약 20–28 step 뒤에 그리퍼를 연다.
- p48: 입구 → 놓기 간격 19–28 step (14건 중 12건). 안착 안 된 채 놓은 lateral은 5.7–29 mm였다.
- 원래+회복: 17–48 step. 안착 안 된 채 놓은 lateral은 3.7–57 mm였다.
- 원래만: 20–63 step. 안착 안 된 채 놓은 lateral은 9–89 mm였다.
- 원래 demo에서는 입구에 닿고 약 25 step 뒤에 안착하고 놓는다. 정책은 이 타이밍을 외웠을 뿐, "정렬됐는지 보고 놓을지 고친 뒤 다시 시도할지 정하는" 판단은 배우지 못했다.
- 그래서 회복 데이터의 시작 조건인 "잡은 채 빗나감" 상태가 오래 이어지지 않는다. 바로 놓아 버려서 leg가 넘어지고, 넘어진 뒤를 다루는 데이터는 학습 데이터에 없다.
- 재시도(leg를 세운 채 입구에 닿음 → 물러남 → 다시 닿음)는 세 모델 모두 0건이다. 모든 episode가 입구 접촉 1회에서 끝난다. 시도가 한 번뿐이니 in-context 개선이 나타날 기회 자체가 없다.
관찰 2 — p768 전환 자체가 앞 단계(leg 집어 세우기)를 망가뜨렸다
- leg를 끝내 세우지 못한 episode: p48 5/20 → 원래+회복 10/20, 원래만 9/20.
- 두 p768 run 모두 같은 정도로 나빠졌으므로 회복 데이터 탓이 아니다. p48로 13.7K step 학습한 모델을 p768 history로 3000 step(global 64)만 다시 맞춘 것이 부족했다. 학습 시작 시 action loss도 0.011 → 0.19–0.27로 튀었다.
- 안착률이 대조군과 같아도, 실제로는 실패의 절반이 회복 데이터가 관여할 수 없는 단계에서 생긴다. 이 상태로는 회복 데이터의 효과를 잴 수 없다.
의견 — 다음에 바꿀 것
- 실패 분포 맞추기: 생성기의 실패를 정책의 실제 실패에 맞춘다. 실제 실패는 "빗나간 채 일찍 놓기 → leg 넘어짐"이다. 그러면 회복 데이터에 다음 두 가지가 들어가야 한다.
- 빗나간 위치에서 정해진 타이밍에 놓는 실패
- 넘어진 leg를 다시 잡아 세우고 다시 끼우는 회복
- 놓기 판단을 상태에 묶기: 회복 데이터에서 "입구에 닿고 20–30 step 뒤에도 정렬이 안 되면 놓지 않고 물러나는" 장면이 충분히 나오게 한다. 지금 생성기는 처음부터 큰 bias(18–28 mm)를 줘서 정책이 실제로 틀리는 3–15 mm 구간이 적다.
- 기반 정책 회복: 회복 효과를 재기 전에 p768 정책의 집어 세우기를 p48 수준으로 되돌린다. 방법은 둘이다.
- 학습을 더 길게 한다(LR/step 늘리기).
- p48 정책에 회복 데이터를 섞고 history를 짧게 둔다. 이 경우 회복 시도가 짧아 48 frame 안에 들어가는 형태여야 한다.
3학습 데이터 회복 episode (참고)
seed 1000 · lin5 · b0 24.5 mm · 안착 @461
시도별 최소 lateral (mm): 22.1✗ → 15.3✗ → 9.1✗ → 4.7✗ → 0.2✓
seed 1008 · lin4_iid · b0 26.1 mm · 안착 @430
시도별 최소 lateral (mm): 23.1✗ → 17.0✗ → 8.5✗ → 0.1✓
seed 1016 · lin5_iid · b0 23.8 mm · 안착 @558
시도별 최소 lateral (mm): 15.8✗ → 12.0✗ → 8.2✗ → 5.8✗ → 0.2✓
seed 1024 · lin2 · b0 19.2 mm · 안착 @318
시도별 최소 lateral (mm): 7.3✗ → 0.1✓
seed 1048 · geo4_iid · b0 23.6 mm · 안착 @356
시도별 최소 lateral (mm): 21.1✗ → 10.9✗ → 5.8✗ → 0.1✓
seed 1064 · lin3 · b0 21.5 mm · 안착 @313
시도별 최소 lateral (mm): 17.7✗ → 5.6✗ → 0.1✓
4p48 최종 (192079 step 13690, history 48) — 6/20 안착
seed 0 · 성공 @242 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 532 step
최근접 0.0 mm · 532 step
seed 1 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.9
최근접 2.1 mm · 1000 step
최근접 2.1 mm · 1000 step
seed 2 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 150.6 mm · 1000 step
최근접 150.6 mm · 1000 step
seed 3 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 17.4 mm · 1000 step
최근접 17.4 mm · 1000 step
seed 4 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 5.1
최근접 2.2 mm · 1000 step
최근접 2.2 mm · 1000 step
seed 5 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 23.5
최근접 1.1 mm · 1000 step
최근접 1.1 mm · 1000 step
seed 6 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 1.6
최근접 1.6 mm · 1000 step
최근접 1.6 mm · 1000 step
seed 7 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 3.6
최근접 1.6 mm · 1000 step
최근접 1.6 mm · 1000 step
seed 8 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 28.8
최근접 23.2 mm · 1000 step
최근접 23.2 mm · 1000 step
seed 9 · 성공 @213 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 459 step
최근접 0.2 mm · 459 step
seed 10 · 성공 @227 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 461 step
최근접 0.1 mm · 461 step
seed 11 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 6.5 mm · 1000 step
최근접 6.5 mm · 1000 step
seed 12 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.9
최근접 4.9 mm · 1000 step
최근접 4.9 mm · 1000 step
seed 13 · 성공 @227 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 1000 step
최근접 0.2 mm · 1000 step
seed 14 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 11.2
최근접 1.9 mm · 1000 step
최근접 1.9 mm · 1000 step
seed 15 · 성공 @221 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 650 step
최근접 0.1 mm · 650 step
seed 16 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 201.1 mm · 1000 step
최근접 201.1 mm · 1000 step
seed 17 · 성공 @226 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 727 step
최근접 0.1 mm · 727 step
seed 18 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 185.2 mm · 1000 step
최근접 185.2 mm · 1000 step
seed 19 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 23.7 mm · 1000 step
최근접 23.7 mm · 1000 step
5원래+회복 1:1 (p768, 3000 step) — 1/20 안착
seed 0 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 13.7 mm · 1000 step
최근접 13.7 mm · 1000 step
seed 1 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 2.7
최근접 0.8 mm · 1000 step
최근접 0.8 mm · 1000 step
seed 2 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 3.6
최근접 3.6 mm · 1000 step
최근접 3.6 mm · 1000 step
seed 3 · 성공 @243 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 481 step
최근접 0.1 mm · 481 step
seed 4 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 8.1 mm · 1000 step
최근접 8.1 mm · 1000 step
seed 5 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 8.1 mm · 1000 step
최근접 8.1 mm · 1000 step
seed 6 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 7.1 mm · 1000 step
최근접 7.1 mm · 1000 step
seed 7 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 10.9 mm · 1000 step
최근접 10.9 mm · 1000 step
seed 8 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 3.4 mm · 1000 step
최근접 3.4 mm · 1000 step
seed 9 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 214.2 mm · 1000 step
최근접 214.2 mm · 1000 step
seed 10 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 4.7 mm · 1000 step
최근접 4.7 mm · 1000 step
seed 11 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 2.1 mm · 1000 step
최근접 2.1 mm · 1000 step
seed 12 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 28.6
최근접 14.2 mm · 1000 step
최근접 14.2 mm · 1000 step
seed 13 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 26.5
최근접 18.3 mm · 1000 step
최근접 18.3 mm · 1000 step
seed 14 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 10.1
최근접 5.3 mm · 1000 step
최근접 5.3 mm · 1000 step
seed 15 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 183.2 mm · 1000 step
최근접 183.2 mm · 1000 step
seed 16 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 2.7 mm · 1000 step
최근접 2.7 mm · 1000 step
seed 17 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 96.3 mm · 1000 step
최근접 96.3 mm · 1000 step
seed 18 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 198.8 mm · 1000 step
최근접 198.8 mm · 1000 step
seed 19 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 21.5
최근접 17.0 mm · 1000 step
최근접 17.0 mm · 1000 step
6원래만 대조군 (p768, 3000 step) — 1/20 안착
seed 0 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 46.4 mm · 1000 step
최근접 46.4 mm · 1000 step
seed 1 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 16.3
최근접 16.3 mm · 1000 step
최근접 16.3 mm · 1000 step
seed 2 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 27.2 mm · 1000 step
최근접 27.2 mm · 1000 step
seed 3 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 5.1 mm · 1000 step
최근접 5.1 mm · 1000 step
seed 4 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 1.8
최근접 1.8 mm · 1000 step
최근접 1.8 mm · 1000 step
seed 5 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 212.5 mm · 1000 step
최근접 212.5 mm · 1000 step
seed 6 · 성공 @210 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 731 step
최근접 0.1 mm · 731 step
seed 7 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 132.6 mm · 1000 step
최근접 132.6 mm · 1000 step
seed 8 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.4
최근접 0.4 mm · 1000 step
최근접 0.4 mm · 1000 step
seed 9 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.3
최근접 4.3 mm · 1000 step
최근접 4.3 mm · 1000 step
seed 10 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 7.6 mm · 1000 step
최근접 7.6 mm · 1000 step
seed 11 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 20.3 mm · 1000 step
최근접 20.3 mm · 1000 step
seed 12 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.0
최근접 4.0 mm · 1000 step
최근접 4.0 mm · 1000 step
seed 13 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 199.2 mm · 1000 step
최근접 199.2 mm · 1000 step
seed 14 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 12.6 mm · 1000 step
최근접 12.6 mm · 1000 step
seed 15 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 1000 step
최근접 0.2 mm · 1000 step
seed 16 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 16.9 mm · 1000 step
최근접 16.9 mm · 1000 step
seed 17 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 217.0 mm · 1000 step
최근접 217.0 mm · 1000 step
seed 18 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 21.0
최근접 20.8 mm · 1000 step
최근접 20.8 mm · 1000 step
seed 19 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 65.1 mm · 1000 step
최근접 65.1 mm · 1000 step