Index
2026-09-19 — Experiment

native_icl Trial 2 — 아래 서랍 36 mm 삽입·손 이탈 후 유지, 위 서랍 파지는 stage 230까지 미해결

FurnitureBench | demo_icl 트랙 | native_conversation_model, 3-view RGB-D(후방 추가), extra QOS

TL;DR

36.08 mm
아래 서랍 삽입 (215+216)
1.42 mm
들어도 안쪽 이동
3
RGB-D 시점 (후방 추가)
29.3 mm
stage 230 EE 처짐
3
Trial 2 continuation 거부

1 배경 / 목적

Trial 1은 위 서랍 유지·놓기와 접촉 시 하우징 이동 미감지로 stage 144에서 종료됐다(카드 260921-native_icl_trial1_drawer_failure). Trial 2는 stage 145의 명시적 fresh reset에서 시작해 같은 조건(사람 데모 1개, 이 세션 모델의 decision, 외부 모델 API 0, 각 stage 독립 extra job)을 유지하되 전략을 바꾼 재시도다. 과거 실패·rewind·연속성 거부·추가 예산은 삭제하지 않는다.

조건: Trial 1의 실패 경험이 컨텍스트에 누적된 상태라 “깨끗한 첫 시도 성능”이 아니다. 추론 사이 물리가 정지하고, 실시간 제어·실물 성공의 증거가 아니다.

2 작업 내용

전략 변경: 하우징(몸체) 고정 → 서랍을 파지해 수평으로 하우징 위로 옮긴 뒤 입구에 정렬·삽입 파지 대상: 옆벽(폭 4.6–8.4 mm, 얕음) → 앞면 사이 튀어나온 둥근 knob(폭 18.8 mm)로 전환 (stage 201) 관측: 손목 + 전방 고정 RGB-D → + 후방 고정 RGB-D(observation_profile=wrist_front_rear_rgbd, capture 결정에서만 변경 가능, 이후 stage가 상속) 감시: stationary_depth_guard(보이는 영역 1–4개 깊이 변화), stationary_tag_guard, stop_on_stall, 그립 폭 상·하한 — 모두 모델이 접촉 동작마다 선택, 기본 off 검증 입력: 삽입량은 공개 RGB-D 앞면 tracking(예: 155/159, 209/221 track)으로만 추정, 시뮬레이터 정답 좌표 미사용

stage 158에서 몸체 태그가 손바닥에 가려지자 현재 보이는 앞면·옆면·윗부분 3영역을 골라 이전 전체 관측(obs 5)과 3D 깊이 일치를 확인하고 과거 레일 측정을 재등록했다(숨은 위치를 대신 넣지 않음).

3 결과

stage시각(KST)시도결과
145–15009:56 → 10:10(@150)fresh reset. 146: 빈 손이 하우징 윗모서리를 가려 55 mm 상승. 147: 하우징 전면 밴드 ≈X 0.483, 안쪽 cavity ≈X 0.392 → 입구가 +X를 향해 하우징을 옮기지 않고도 조립될 수 있다고 판단150: 한 손가락은 아래 서랍 안, 하나는 오른쪽 벽 바깥, 12 mm 수직 들기
153–16510:10(@150) → 11:25(@175) 사이153: 서랍이 하우징 위 수평(rear Z .171 vs 상단 .107), 1.4 rad를 7×0.2 rad로 회전. 158: stationary_depth_guard 첫 실행. 162: groove 0.21 mm 낮음·0.03 mm 측방, 후방 간극 ≈11 mm → 13 mm 전진stage 165: 접촉 후 하우징이 ≈7 mm·0.68° 이동, groove 3.50 mm 우측·1.59 mm 높음·3.26°
177–18311:25(@175) 이후옆벽 근전면 재파지(폭 8.37 mm) 후 진입stage 183: 진입 107 step, 몸체 depth check 108건 불변, 후방 겹침 ≈6 mm, groove 높이 오차 <0.1 mm
186–19213:03(@200) 이전닫힌 그리퍼로 밀기: 손가락 간격 16.25/16.79 mm, 끝 높이 24.9 mm(knob 상단 ≈19 mm보다 높음)stage 189: 안쪽 이동 미미·pitch 증가 → 실패. 191 unload 시 아래 서랍 이동 없음, 튀어나온 둥근 knob 발견
201–21013:03(@200) 이후201: knob이 열린 jaw 사이(그립 폭 18.8 mm). 204: 앞면 수평 0.012°로 leveling. 209: 9 step 후 중단공개 앞면 tracking 기준 실제 전진 1.585 mm(명령 20 mm 아님)
212–21315:37(@212)후방 RGB-D 추가(wrist_front_rear_rgbd, 3-view). 212: 새 카메라 보정 파일 로더에서 실패 → 213: 마지막 정상 211에서 재수집212는 동작 명령 없음이지만 passive 1프레임 진행·체크포인트 미저장 — 손실 분기로 기록
215–21815:37(@212) → 19:28(@225) 사이아래 서랍 안쪽 밀기 → 손 이탈 → 수직 들기215: +20.78 mm, 216: +15.30 mm (합 36.08 mm), 몸체 중심 이동 86 µm. 218: 45 mm 들어도 앞면 평면이 1.42 mm 안쪽으로 이동(빠지지 않음)
219–225@225 = 19:28까지위 서랍 옆벽 파지 → 들기222: tag 상승 9–13 mm(손 15 mm), 폭 5.06 mm. 223: 폭 7.30 mm·≈13° 기울어 얕은 grip 폐기. 225: 실제 동작으로 내려놓음
226–23119:32–20:13위 서랍 재파지: 226 수평 안착 확인 → 228 단거리 들기 → 230 정렬 보정228: 앞 20.3 mm·뒤 18.9 mm 상승, 폭 4.626→4.666 mm, roll ≈1.1°. 230 실패: 3 mm norm cap이 위치 피드백 전체(높이 보상 포함)를 잘라 EE 29.3 mm 처짐(목표 68.2 mm 유지), 위 서랍 8.7° 기울고 몸체 0.8 mm 이동. 231 제출(job 138222), 결과 미확인
아래 서랍: knob 파지 이후 두 번의 bounded 전진으로 36.08 mm 삽입, 몸체 중심 이동 86 µm(하우징 고정 유지). 같은 Trial의 stage 165(옆벽 파지 접촉에서 하우징 ≈7 mm 이동)와 달리 삽입 중 몸체가 거의 안 움직임. 손을 뗀 뒤에도 3-view에서 닫힌 형태로 지지(stage 218–219).
위 서랍 실패 이력: 옆벽 얕은 grip은 stage 223에서 폭 5.36 → 7.30 mm로 벌어지고 ≈13° 기울어 폐기. stage 230은 제어 옵션 부작용 — 선택적 3 mm norm cap이 위치 피드백 전체를 잘라 공개 trace상 명령 ≈+2.5 mm Z에 EE는 29.3 mm 처짐(목표 68.2 mm 유지), 위 서랍 8.7° 기울고 몸체 0.8 mm 이동. stage 060에서 같은 결함(3 mm 상한이 X/Z를 ≈13/11 mm 처지게 함) 재현.
스코프: 아래 서랍 “삽입”은 관측상 앞면 차 ≈1.5 mm(불확실성 3 mm)이며, 전체 조립 success scorer는 아직 실행하지 않았다. stage 183의 후방 겹침 ≈6 mm와 stage 215–216의 36.08 mm 전진은 모두 공개 RGB-D tracking 추정값이다.

4 Takeaway

의미

Trial 1에서 병목이던 “정렬 후 밀어 넣기”는 깊은 knob grasp + 하우징 고정 + 3-view 관측 조합에서 36 mm 삽입·손 이탈 후 유지로 넘어갔다. 다만 세 변경이 동시에 들어가 어느 것이 효과였는지는 이 데이터로 분리할 수 없다(ablation 없음, Trial 1 경험 누적).

남은 병목은 여전히 위 서랍: 옆벽 grip은 얕아 기울고, 유지 보상을 위한 제어 옵션이 오히려 높이 지지를 잘라먹는 같은 계열 결함(명령 상한 vs 중력 보상)이 stage 060과 230에서 두 번 나타났다 — 제어 옵션은 기본 off·모델 선택 방식이라 재발 방지가 세션 모델의 옵션 선택에 의존한다.

5 Next Steps

미해결 한계

위 서랍 삽입 미시작(위 groove ↔ 위 레일 정렬·삽입 필요), 전체 성공 평가 없음, 아래 서랍 종단 위치는 관측 불확실성 3 mm 내. 3-view 조건은 기존 2-view와 입력 예산이 달라 성능을 동일선상 비교하면 안 됨. 카메라 보정은 simulated_sensor 도메인.

다음 실험

  1. stage 231: 3 mm norm cap 제거(위치 피드백·높이 보상 유지) 후 위 서랍 더 깊은 재파지 → 짧은 들기 검증.
  2. 위 서랍을 관측한 홈과 위 레일에 정렬 → bounded 삽입 → 손 이탈 후 terminal scorer 평가와 결과 영상 확인.
  3. 성공 시에도 “개발 이력 있는 1회”로만 보고. 이후 demo 없는 baseline·clean 재실행으로 demo 조건화 효과를 분리.