0성공률 (점수용 평가, seeds 0–19 × 3)
| 모델 | episode | 안착 | 조립 완료 | 안착한 seed 수 | 안착 step 중간값 |
|---|---|---|---|---|---|
| p48 최종 (seed 0–9 × 3 only) | 30 | 1 | 1 | 1 | 223 |
| 이전 handoff 1:1 (나사 포함, step 3000) | 60 | 13 | 5 | 9 | 239 |
| 이전 대조군 (나사 포함, step 3000) | 60 | 21 | 19 | 13 | 232 |
| seat40 + handoff v2 1:3 (step 1000) | 60 | 20 | 10 | 14 | 260 |
| seat40 대조군 (step 1000) | 60 | 12 | 8 | 9 | 230 |
| seat40 + handoff v2 1:3 (step 2000) | 60 | 16 | 10 | 11 | 244 |
| seat40 대조군 (step 2000) | 60 | 17 | 11 | 12 | 227 |
| seat40 + handoff v2 1:3 (step 2500) | 60 | 20 | 14 | 11 | 258 |
| seat40 대조군 (step 2500) | 60 | 22 | 17 | 15 | 227 |
| seat40 + handoff v2 1:3 (step 3000) | 60 | 15 | 11 | 12 | 236 |
| seat40 대조군 (step 3000) | 60 | 14 | 10 | 10 | 234 |
1요약 (영상 평가 20 episode 기준)
| 모델 | 안착 | 입구 도달 | leg 근처도 못 감 (>100mm) | 시도 ≥2 | 마지막 시도가 첫 시도보다 가까움 | 재시도 후 안착 | 평균 시도 수 | 첫 시도 lateral 중간값 (mm) | leg를 못 세움 | 세웠지만 입구 못 감 | 입구에서 놓쳐 넘어짐 | 잡은 채 넘어짐 | 입구에서 멈춤 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| p48 최종 (step 13690, history 48) | 6/20 | 14/20 | 3 | 0/14 | 0/0 | 0 | 1.00 | 2.6 | 5 | 1 | 7 | 2 | 0 |
| 이전 대조군: 나사 포함 원래만 (p48, 3000 step) | 5/20 | 12/20 | 3 | 0/12 | 0/0 | 0 | 1.00 | 3.0 | 5 | 3 | 6 | 2 | 0 |
| 나사 제외 원래 ×3 + handoff v2 (1:3, p48, 3000 step) | 6/20 | 12/20 | 5 | 2/12 | 0/2 | 0 | 1.17 | 1.8 | 7 | 1 | 6 | 1 | 1 |
| 나사 제외 원래만 대조군 (p48, 3000 step) | 7/20 | 15/20 | 5 | 0/15 | 0/0 | 0 | 1.00 | 0.7 | 5 | 0 | 6 | 2 | 0 |
시도 = leg 끝이 구멍 입구(lateral < 30 mm, depth < 5 mm)에 닿은 구간. depth > 12 mm로 물러났다가 다시 닿으면 새 시도. 그래프: 빨강 lateral, 파랑 depth, 회색 엔드이펙터 높이/2, 보라 leg 기울기/2, 올리브 그리퍼 폭−40, 주황 = 시도 구간, 초록선 = 안착. 영상은 2배속, 왼쪽 wrist · 오른쪽 front.
2분석
결론: 나사를 뺀 학습 데이터에서도 handoff v2 회복 데이터는 안착률을 올리지 못했다.
두 모델 모두 p48 step 13690에서 출발, 3000 step, global batch 128, lr 5e-5. 차이는 데이터뿐 (나사 제외 원래 ×3 + handoff v2 vs 나사 제외 원래만).
| step | seat40 + handoff v2 1:3 | seat40 대조군 | z | p |
|---|---|---|---|---|
| 1000 | 20/60 | 12/60 | 1.65 | 0.099 |
| 2000 | 16/60 | 17/60 | −0.20 | 0.84 |
| 2500 | 20/60 | 22/60 | −0.38 | 0.70 |
| 3000 | 15/60 | 14/60 | 0.21 | 0.83 |
| 합계 | 71/240 (29.6%) | 65/240 (27.1%) | 0.61 | 0.54 |
- 나사 제거 자체의 효과도 없음: 같은 조건의 나사 포함 대조군(p48→3000 step, step별 합계) 68/240 vs 나사 제외 대조군 65/240. 최고 checkpoint도 21/60 vs 22/60.
- 회복 데이터가 더 이상 해치지는 않음: handoff v1 1:1은 43/240 (대조군보다 유의하게 낮음, p=0.007). v2 필터(pre_release만, handoff lateral > 5 mm, seat+40 절단, 1:3)로 71/240까지 회복 — 라벨 충돌 제거는 효과가 있었지만 대조군을 넘지는 못함.
- 재시도 행동: step 3000 영상 20개 중 seat40+handoff는 2개에서 물러났다 다시 접근(seed 4: 7.4 → 12.8 mm, seed 17: 1.9 → 4.1 mm), 둘 다 안착 실패. 대조군은 재시도 0회. 이전 v2(대조군 3k에서 이어 학습) 영상에서 보였던 "재시도 후 안착" 2/11은 이번엔 재현되지 않음.
- 실패 위치: 영상 기준 실패 13–14개 중 대부분이 구멍 입구에서 다시 시도하는 단계 이전에서 발생 — leg를 못 세움 5–7, 입구에서 놓은 뒤 쓰러짐 6. handoff 회복 데이터가 다루는 "입구에서 빗나간 뒤 다시 꽂기" 상황 자체가 실패의 소수다.
해석: 현재 병목은 retry가 아니라 그 앞 단계(세우기·놓는 타이밍)다. In-context로 "실패 후 더 나아지는" 효과를 보려면, (1) 회복 데이터를 실제로 많이 일어나는 실패(세우기 실패, 놓은 뒤 쓰러짐) 쪽에서 시작하도록 trigger를 바꾸거나, (2) 같은 episode 안에서 실패가 반복적으로 일어나는 설정(예: 첫 시도에 강제로 빗나가게 하는 교란)을 평가에 넣어 retry 능력만 따로 측정해야 한다. 지금 평가는 첫 시도 성패가 결과를 거의 결정해서 retry 능력 차이가 점수에 잘 안 드러난다.
조립 완료(assembled)는 참고용: 45/240 vs 46/240. 1차 지표는 안착.
3학습 데이터 handoff episode (pilot2, 참고)
seed 106 · trigger no_upright @300 · 안착 @577
시도별 최소 lateral (mm): 194.1✗ → 0.0✓
seed 100 · trigger pre_release @206 · 안착 @265
시도별 최소 lateral (mm): 7.9✗ → 0.2✓
seed 102 · trigger pre_release @236 · 안착 @286
시도별 최소 lateral (mm): 3.8✗ → 0.0✓
seed 103 · trigger pre_release @242 · 안착 @301
시도별 최소 lateral (mm): 1.0✗ → 0.1✓
seed 113 · trigger fell @155 · 안착 @842
시도별 최소 lateral (mm): 56.5✗ → 0.2✓
4p48 최종 (step 13690, history 48) — 6/20 안착
seed 0 · 성공 @242 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 532 step
최근접 0.0 mm · 532 step
seed 1 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.9
최근접 2.1 mm · 1000 step
최근접 2.1 mm · 1000 step
seed 2 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 150.6 mm · 1000 step
최근접 150.6 mm · 1000 step
seed 3 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 17.4 mm · 1000 step
최근접 17.4 mm · 1000 step
seed 4 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 5.1
최근접 2.2 mm · 1000 step
최근접 2.2 mm · 1000 step
seed 5 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 23.5
최근접 1.1 mm · 1000 step
최근접 1.1 mm · 1000 step
seed 6 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 1.6
최근접 1.6 mm · 1000 step
최근접 1.6 mm · 1000 step
seed 7 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 3.6
최근접 1.6 mm · 1000 step
최근접 1.6 mm · 1000 step
seed 8 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 28.8
최근접 23.2 mm · 1000 step
최근접 23.2 mm · 1000 step
seed 9 · 성공 @213 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 459 step
최근접 0.2 mm · 459 step
seed 10 · 성공 @227 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 461 step
최근접 0.1 mm · 461 step
seed 11 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 6.5 mm · 1000 step
최근접 6.5 mm · 1000 step
seed 12 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.9
최근접 4.9 mm · 1000 step
최근접 4.9 mm · 1000 step
seed 13 · 성공 @227 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 1000 step
최근접 0.2 mm · 1000 step
seed 14 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 11.2
최근접 1.9 mm · 1000 step
최근접 1.9 mm · 1000 step
seed 15 · 성공 @221 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 650 step
최근접 0.1 mm · 650 step
seed 16 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 201.1 mm · 1000 step
최근접 201.1 mm · 1000 step
seed 17 · 성공 @226 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 727 step
최근접 0.1 mm · 727 step
seed 18 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 185.2 mm · 1000 step
최근접 185.2 mm · 1000 step
seed 19 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 23.7 mm · 1000 step
최근접 23.7 mm · 1000 step
5이전 대조군: 나사 포함 원래만 (p48, 3000 step) — 5/20 안착
seed 0 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 3.9
최근접 3.0 mm · 1000 step
최근접 3.0 mm · 1000 step
seed 1 · 성공 @215 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.3
최근접 0.3 mm · 463 step
최근접 0.3 mm · 463 step
seed 2 · 성공 @233 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 573 step
최근접 0.0 mm · 573 step
seed 3 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 14.5
최근접 8.5 mm · 1000 step
최근접 8.5 mm · 1000 step
seed 4 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 23.4
최근접 14.7 mm · 1000 step
최근접 14.7 mm · 1000 step
seed 5 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 2.0
최근접 0.7 mm · 1000 step
최근접 0.7 mm · 1000 step
seed 6 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 8.5 mm · 1000 step
최근접 8.5 mm · 1000 step
seed 7 · 성공 @228 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 511 step
최근접 0.1 mm · 511 step
seed 8 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.4
최근접 2.0 mm · 1000 step
최근접 2.0 mm · 1000 step
seed 9 · 성공 @416 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 729 step
최근접 0.0 mm · 729 step
seed 10 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 6.5
최근접 6.3 mm · 1000 step
최근접 6.3 mm · 1000 step
seed 11 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 8.2 mm · 1000 step
최근접 8.2 mm · 1000 step
seed 12 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 213.4 mm · 1000 step
최근접 213.4 mm · 1000 step
seed 13 · 성공 @218 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 1000 step
최근접 0.2 mm · 1000 step
seed 14 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 154.2 mm · 1000 step
최근접 154.2 mm · 1000 step
seed 15 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 5.6
최근접 2.5 mm · 1000 step
최근접 2.5 mm · 1000 step
seed 16 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 208.6 mm · 1000 step
최근접 208.6 mm · 1000 step
seed 17 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 14.4 mm · 1000 step
최근접 14.4 mm · 1000 step
seed 18 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 87.5 mm · 1000 step
최근접 87.5 mm · 1000 step
seed 19 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 15.6 mm · 1000 step
최근접 15.6 mm · 1000 step
6나사 제외 원래 ×3 + handoff v2 (1:3, p48, 3000 step) — 6/20 안착
seed 0 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 26.6
최근접 17.9 mm · 1000 step
최근접 17.9 mm · 1000 step
seed 1 · 성공 @222 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 1000 step
최근접 0.1 mm · 1000 step
seed 2 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 6.6
최근접 1.7 mm · 1000 step
최근접 1.7 mm · 1000 step
seed 3 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 5.6
최근접 3.9 mm · 1000 step
최근접 3.9 mm · 1000 step
seed 4 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 2회
시도별 최소 lateral (mm): 7.4 → 12.8
최근접 2.1 mm · 1000 step
최근접 2.1 mm · 1000 step
seed 5 · 성공 @278 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 1.7
최근접 1.7 mm · 1000 step
최근접 1.7 mm · 1000 step
seed 6 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 36.0 mm · 1000 step
최근접 36.0 mm · 1000 step
seed 7 · 실패 · 세웠지만 입구 못 감 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 3.7 mm · 1000 step
최근접 3.7 mm · 1000 step
seed 8 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 17.5 mm · 1000 step
최근접 17.5 mm · 1000 step
seed 9 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 210.9 mm · 1000 step
최근접 210.9 mm · 1000 step
seed 10 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 7.1
최근접 4.7 mm · 1000 step
최근접 4.7 mm · 1000 step
seed 11 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 192.0 mm · 1000 step
최근접 192.0 mm · 1000 step
seed 12 · 성공 @252 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 450 step
최근접 0.1 mm · 450 step
seed 13 · 성공 @218 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 472 step
최근접 0.1 mm · 472 step
seed 14 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 187.2 mm · 1000 step
최근접 187.2 mm · 1000 step
seed 15 · 성공 @223 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 459 step
최근접 0.1 mm · 459 step
seed 16 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 158.7 mm · 1000 step
최근접 158.7 mm · 1000 step
seed 17 · 실패 · 입구에서 멈춤 · 시도 2회
시도별 최소 lateral (mm): 1.9 → 4.1
최근접 0.3 mm · 1000 step
최근접 0.3 mm · 1000 step
seed 18 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 206.6 mm · 1000 step
최근접 206.6 mm · 1000 step
seed 19 · 성공 @277 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.8
최근접 0.8 mm · 1000 step
최근접 0.8 mm · 1000 step
7나사 제외 원래만 대조군 (p48, 3000 step) — 7/20 안착
seed 0 · 성공 @244 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 538 step
최근접 0.0 mm · 538 step
seed 1 · 성공 @236 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 484 step
최근접 0.1 mm · 484 step
seed 2 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 192.6 mm · 1000 step
최근접 192.6 mm · 1000 step
seed 3 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 162.9 mm · 1000 step
최근접 162.9 mm · 1000 step
seed 4 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 5.7
최근접 1.3 mm · 1000 step
최근접 1.3 mm · 1000 step
seed 5 · 성공 @225 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 467 step
최근접 0.0 mm · 467 step
seed 6 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 4.6
최근접 4.1 mm · 1000 step
최근접 4.1 mm · 1000 step
seed 7 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 7.3
최근접 7.3 mm · 1000 step
최근접 7.3 mm · 1000 step
seed 8 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 1.2
최근접 0.9 mm · 1000 step
최근접 0.9 mm · 1000 step
seed 9 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 22.7
최근접 7.3 mm · 1000 step
최근접 7.3 mm · 1000 step
seed 10 · 성공 @228 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 505 step
최근접 0.2 mm · 505 step
seed 11 · 성공 @226 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.0
최근접 0.0 mm · 511 step
최근접 0.0 mm · 511 step
seed 12 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 134.6 mm · 1000 step
최근접 134.6 mm · 1000 step
seed 13 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.8
최근접 0.8 mm · 1000 step
최근접 0.8 mm · 1000 step
seed 14 · 실패 · 입구에서 놓쳐 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 14.4
최근접 3.4 mm · 1000 step
최근접 3.4 mm · 1000 step
seed 15 · 성공 @232 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.2
최근접 0.2 mm · 477 step
최근접 0.2 mm · 477 step
seed 16 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 115.9 mm · 1000 step
최근접 115.9 mm · 1000 step
seed 17 · 성공 @239 · 성공 · 시도 1회
시도별 최소 lateral (mm): 0.1
최근접 0.1 mm · 526 step
최근접 0.1 mm · 526 step
seed 18 · 실패 · leg를 못 세움 · 시도 0회
시도별 최소 lateral (mm): 입구 도달 없음
최근접 206.0 mm · 1000 step
최근접 206.0 mm · 1000 step
seed 19 · 실패 · 잡은 채 넘어짐 · 시도 1회
시도별 최소 lateral (mm): 0.7
최근접 0.7 mm · 1000 step
최근접 0.7 mm · 1000 step