1요약 (영상 평가 20 episode 기준)
| 모델 | 안착 | 입구 도달 | leg 근처도 못 감 (>100mm) | 시도 ≥2 | 마지막 시도가 첫 시도보다 가까움 | 재시도 후 안착 | 평균 시도 수 | 첫 시도 lateral 중간값 (mm) | leg를 못 세움 | 세웠지만 입구 못 감 | 입구에서 놓쳐 넘어짐 | 잡은 채 넘어짐 | 입구에서 멈춤 |
| p48 최종 (step 13690, history 48) | 6/20 | 14/20 | 3 | 0/14 | 0/0 | 0 | 1.00 | 2.6 | 5 | 1 | 7 | 2 | 0 |
| 원래+handoff 회복 1:1 (p48, 3000 step) | 6/20 | 10/20 | 5 | 1/10 | 0/1 | 0 | 1.10 | 0.3 | 9 | 1 | 5 | 1 | 0 |
| 원래만 대조군 (p48, 3000 step) | 5/20 | 12/20 | 3 | 0/12 | 0/0 | 0 | 1.00 | 3.0 | 5 | 3 | 6 | 2 | 0 |
| v2: 대조군 3k → handoff v2 1:3 (+3000 step) | 8/20 | 11/20 | 3 | 2/11 | 2/2 | 2 | 1.45 | 0.7 | 7 | 2 | 7 | 0 | 0 |
| v2 대조군: 대조군 3k → 원래만 (+3000 step) | 3/20 | 14/20 | 4 | 1/14 | 0/1 | 0 | 1.07 | 3.4 | 5 | 1 | 10 | 1 | 1 |
시도 = leg 끝이 구멍 입구(lateral < 30 mm, depth < 5 mm)에 닿은 구간. depth > 12 mm로 물러났다가 다시 닿으면 새 시도. 그래프: 빨강 lateral, 파랑 depth, 회색 엔드이펙터 높이/2, 보라 leg 기울기/2, 올리브 그리퍼 폭−40, 주황 = 시도 구간, 초록선 = 안착. 영상은 2배속, 왼쪽 wrist · 오른쪽 front.
2분석
지표 정정 (2026-10-19). 이 과제는 처음부터 나사 조이기를 빼고 "삽입만"을 평가하기로 했다(context.md 테스트베드 정의). 그래서 주 지표는
안착(seated)이고, 조립 완료(나사까지 끝남)는 참고용이다. 아래 해석은 안착 기준으로 다시 썼다. "안착 뒤 놓쳐 넘어짐"과 "조이기 약화"는 과제 범위 밖이라 문제로 보지 않는다.
step 4개 합계(각 240 ep) 안착 기준:
- v1 handoff 43 vs v1 대조군 68 (17.9% vs 28.3%, 두 비율 z = −2.71, p = 0.007) → v1은 실제로 손해
- v2 handoff 56 vs v2 대조군 47 (23.3% vs 19.6%, z = 1.0, p = 0.32) → 약간 높지만 유의하지 않음
step별 변동 폭 (seed 0–19 × 3, 안착 / 조립, 각 60 ep)
| run | 1000 | 2000 | 2500 | 3000 | 4개 합 (240 ep) |
| v1 handoff 1:1 (p48 출발) | 9 / 4 | 6 / 3 | 15 / 6 | 13 / 5 | 43 / 18 |
| v1 대조군 (p48 출발) | 6 / 4 | 21 / 19 | 20 / 14 | 21 / 19 | 68 / 56 |
| v2 handoff 1:3 (대조군 3k 출발) | 15 / 11 | 19 / 13 | 9 / 7 | 13 / 7 | 56 / 38 |
| v2 대조군 (대조군 3k 출발) | 4 / 4 | 16 / 13 | 15 / 12 | 12 / 9 | 47 / 38 |
v1 handoff의 손해는 노이즈가 아님. 같은 run 안에서 step 2000–3000의 조립 횟수는 대조군이 14–19/60, v1 handoff가 3–6/60이다. 어느 step에서 보든 차이가 크다.
v2는 대조군과 같은 수준. 4개 step을 합치면 조립은 38/240으로 똑같고, 안착은 56 vs 47로 v2가 약간 많다. 재시도 행동이 나타난 대신 조립은 손해를 보지 않았다. 다만 성공률을 올리지도 못했다.
step별 변동. 같은 run에서 인접한 checkpoint 사이에 조립이 ±5/60 정도 흔들린다. 재시작 직후인 step 1000에서는 두 대조군 모두 4/60까지 떨어진다(lr warmup을 다시 거치면서 생기는 일로 보임). 대조군 3k(19/60)는 v1 대조군 2000–3000의 plateau 값(14–19)이라 우연한 고점은 아니다. 하지만 거기서 더 학습하면 v2 대조군처럼 9–13/60으로 떨어진다(과적합 또는 lr 재시작 영향).
v2: 라벨 충돌 제거 후 재학습 (2026-10-17)
대조군 step 3000에서 출발해 3000 step 더 학습했다. 데이터는 pre_release 중 넘긴 시점 lateral > 5 mm인 것만 남겼다(229 ep, 안착+40 frame에서 truncate, 조이기와 no_upright는 제외). 원래 데이터와 1:3으로 섞었다. v2 대조군은 같은 출발점에서 원래 데이터만으로 3000 step 더 학습했다.
재시도 행동이 처음 나타남. 영상 평가에서 입구에 도달한 11개 중 2개가 잡은 채로 물러났다가 다시 시도해 안착했다(그리퍼 30 mm 유지).
- seed 5: 1.2 mm로 접촉 → ee를 12 mm 들어 올림 → 재하강 → 안착 @295 (시도 0.9 → 0.3 mm)
- seed 19: 24 mm로 빗나감 → 들어 올림(depth +24 mm) → 다시 내림, 이를 5번 반복(15.1 → 23.1 → 3.5 → 5.8 → 0.4 mm) → 안착 @915
p48, 이전 handoff, 대조군에서는 개선되는 재시도가 0건이었다. v2 대조군은 1건(1.4 → 10.8 mm, 실패)이다.
점수 차이는 없음. seed 0–19 × 3에서 v2는 안착 13/60·조립 7/60, v2 대조군은 안착 12/60·조립 9/60이다. 영상 평가(8/20 vs 3/20)까지 합치면 안착 21/80 vs 15/80, 조립 11/80 vs 11/80이다. 재시도로 안착한 두 episode는 모두 안착 뒤 놓쳐서 넘어졌다(조이기 데이터를 제외한 영향으로 보임).
출발점보다 둘 다 퇴보. 대조군 3k는 안착 21/60·조립 19/60이었는데, 원래 데이터만 3000 step 더 학습해도 12/60·9/60으로 떨어졌다. 체크포인트 사이의 변동이 혼합 효과보다 크다. 비교하려면 같은 run 안에서 step별로 평가하거나 seed 수를 늘려야 한다.
v1 (1:1, p48 출발)
재시도 행동이 나타나지 않음. 영상 20 episode에서 입구까지 간 10개 중 시도 ≥2인 episode는 1개(seed 0: 4.8 → 5.3 mm, 실패)뿐. 학습 데이터 회복의 84%(pre_release 335/421)가 "놓기 직전 들어 올렸다 다시 내림"인데도, 평가에서는 p48·대조군과 똑같이 입구에서 한 번 시도 후 놓음.
성공률도 대조군보다 낮음. 점수용 평가(seeds 0–19 × 3): handoff 안착 13/60·조립 5/60, 같은 조건 대조군(원본만, p48, 3000 step) 안착 21/60·조립 19/60. handoff 모델은 안착한 13개 중 8개가 조립 실패(4개는 반쯤 조인 채 멈춤, depth −12~−17 mm; 4개는 안착 뒤 넘어짐). 대조군은 안착 21개 중 19개 조립 완료.
대조군의 향상은 데이터 효과가 아님. 같은 3000 step을 원본 데이터로만 더 학습한 대조군이 이전 p768 대조군(안착 5/60)보다 훨씬 좋음 → 이번 비교에서 의미 있는 기준은 대조군. p48 기본 점수(seed 0–9 × 3: 1/30)와 영상 평가(6/20)가 크게 달라 seed/반복 분산이 큼에 주의.
왜 안 됐나 (가설).
- 라벨 충돌: pre_release는 lateral < 50 mm이면 다 넘겼고, 그중 상당수는 lateral 3.5 mm 이하로 원본 demo라면 그대로 놓고 끼울 상태. 같은 관측에 대해 원본은 "놓기", handoff는 "들어 올리기" → 1:1 혼합에서 평균적인 행동으로 수렴하고, 결정 신호(오차 크기)가 이미지에서 잘 안 보임.
- handoff 이후 scripted 궤적이 원본 demo와 다른 분포: 조이기(screwing)·재파지 동작이 v2 scripted FSM 스타일이라 원본 조이기 동작과 섞이며 조이기가 약해진 것으로 보임(안착 후 조립 실패 8/13).
--allow-unassembled 40으로 안착+40 frame에서 잘린 episode도 조이기 학습 신호를 희석.
- no_upright 회복(113개)은 정책이 300 step 동안 못 세운 상태에서 scripted가 다시 집는 것인데, 영상 평가에서 "leg를 못 세움"이 5 → 9로 증가. 집기 단계에서도 행동이 흐려졌을 가능성.
다음 후보. (a) pre_release를 오차가 실제로 큰 경우(lateral > 5 mm 등)로만 제한해 라벨 충돌 제거, (b) handoff 이후는 backoff + 재하강 구간만 loss, 조이기는 원본에만 맡김, (c) 혼합 비율을 1:3 이하로, (d) 대조군이 강해졌으므로 새 기준점은 대조군 step 3000.