Index
2026-09-18 ~ 09-19 — Experiment

native_icl Trial 1 — drawer 조립 stage 006→144, 제어 12,580 step 끝에 give_up (scorer false)

FurnitureBench | demo_icl 트랙 | 단일 human demo 조건화, 외부 모델 API 0, extra QOS

TL;DR

0 / 1
terminal scorer
12,580
control steps (current branch)
23
continuation 거부
2
rewind (050, 113)
0.023°
best heading 차 (stage 063)

1 배경 / 목적

카드 native_icl 첫 파지(stage 0–6)가 “이 세션 모델이 관측마다 직접 결정하는 폐루프”의 첫 파지 시도였다면, 이 카드는 같은 루프를 drawer 전체 조립까지 밀어붙인 첫 개발 분기(Trial 1)의 결과다. 참조는 사람 원격조종 데모 1개(20260917_native_harness/demo, 하우징 세우기·서랍 삽입 절차)와 위 서랍 완성 프레임 보충본이며, 데모 절대좌표는 재생하지 않고 절차만 문맥으로 쓴다.

조건: 개발 경험이 이미 있는 세션이므로 “사람 데모 1개 + 개발/실행 이력” 조건이다. clean one-shot이 아니며, 실시간 제어(추론 사이 물리 정지)·실물 성공의 증거도 아니다. 판정은 terminal scorer의 scalar 성공 여부만 인정.

2 작업 내용

프로토콜: 1 Slurm job(extra) = 1 tool 호출 (move_ee / gripper / sequence≤8 동작(누적 이동 25 cm·회전 1.6 rad) / locate_pixel / capture / finish) 흐름: prepare_native_stage.py(이전 job COMPLETED 확인, decision·관측 hash 고정) → run_native_stage.py(환경 복원 → continuation 검사 → 요청 1개 실행 → 관측·체크포인트 저장) → inspect_native_stage.py(공개 관측만 출력, raw log·checkpoint 미열람) → 세션 모델이 다음 decision 작성 정책 입력: 공개 RGB-D + AprilTag + 로봇 센서 + 데모 + 과거에 관측한 기하. 객체 정답 pose·시뮬레이터 비공개 상태는 읽지 않음 제어 예산: 누적 제어 step 한도 1,800(기본) → 10,000 → stage 115에서 14,000 (9,592 사용분·모든 실패 유지, 고정 예산 SR 아님)

이 분기에서 세션 모델이 내린 결정 중 결과에 영향이 컸던 것: (a) stage 039 — 현재 RGB에서 handle이 하우징 쪽을 향함을 확인해 이미 제출된 stage 038을 실행 전 취소하고 180° 회전을 재계획. (b) stage 061–063 — 30~40 step 참조 램프 + 원래 축별 명령 상한으로 이동해 상한이 중력·유지 보상을 잘라내지 않도록 함. (c) stage 113 — 체크포인트 없이 timeout된 112를 폐기하고 마지막 정상 111에서 재시작(실패 분기는 보존).

3 결과

stage시각 (KST, stage 디렉토리 mtime)시도결과
007–02409-18 09:2x → 18:08(@020)측면벽 파지·들기·시계방향 회전 시도폭 2.94 mm 유지, 그러나 stage 021에서 tag 상승 2.90 mm vs 손 상승 6.27 mm(미끄러짐), stage 024 기울기 ≈16.3°
038–04209-18 21:31 (job 135730 제출)핸들 방향 semantic 교정: 현재 handle이 하우징 쪽을 향함(데모는 바깥)stage 038 job 135730 실행 전 CANCELLED, 180° 회전을 8회 × 11.25° bounded move로 재계획
047–05009-18 22:58(@050)leveling 중 적재 서랍 기울어짐 → 048/049 복원 거부원거리 바닥(150–280 m) 국소 변화 17.49% → stage_050 = 046에서 rewind(047의 120 step 폐기)
054–07209-18 22:58(@050) → 09-19 07:17(@100) 사이아래 서랍 정렬·삽입: 입구 밖 정렬 → 30/25/45 mm 전진stage 060 heading 차 0.034°, 오프셋 −4.08 vs 목표 −3.888 mm → stage 063 −0.023°, −3.997 mm. stage 072: 30 mm 진입, 부분 삽입
081(@050~@100 사이)첫 서랍 release 후 확인앞면이 거의 flush·수평 (몸체 tag 50 대비 face 61)
084–11507:17(@100), 08:03(@115)위(둘째) 서랍 파지·삽입 시도stage 090 release 실패 — ≈40° front-down 낙하. 112 timeout(체크포인트 없음) → 113 = 111에서 rewind. 114 앞 처짐 ≈20° → 115 ≈32°. 제어 예산 10,000→14,000(9,592 사용 시점)
117–13509-19 오전위 서랍 handle pinch 재파지·수평 보정pinch 폭 18.8 mm(관측 18.7 mm 일치), 들어올림 뒤 앞판 grasp로 전환, 잔여 기울기 ≈5° (stage 135)
137–14409:52(@144)입구 20 mm 근접 후 삽입 시도stage 138: 위치 1.2 mm 이내 도달했으나 서랍 roll 18°, 몸체 1 mm/yaw 1° 이동. stage 140: passive 20 frame이 마지막 토크를 유지 → 팔 21 cm 이동. stage 144 give_up
145
stage (000–144)
45
폐기한 추가 passive 프레임
24.5 h
stage 006 → 144 (09-18 09:23 → 09-19 09:52)
정렬 정밀도: 정답 좌표 없이 RGB-D 관측면(앞판·옆벽 평면 fit)만으로 stage 060 → 063에서 오프셋 오차 0.19 → 0.11 mm(목표 −3.888 mm), heading 차 0.034° → 0.023°까지 좁힘(각 값은 해당 stage decision 시점의 관측 추정). 이후 stage 072에서 30 mm 진입이 관측됨.
실패 증거 (trial_001_outcome.json): stage 137 접촉이 든 서랍을 변형, stage 138 grasp 상실 + 하우징 이동, stage 140 passive refresh가 마지막 토크를 유지해 로봇 21 cm 이동(옵션 폐기), stage 141/142 명시적 robot hold는 도달했으나 가구는 이미 이동한 채 정착. stage 143 관측: 몸체가 옆으로 쓰러지고 서랍이 몸체 밖.
연속성 훼손: continuation 거부 23건(활성 분기 21건 단절)과 rewind 2회는 “연속 물리 실험”이 아니라 체크포인트 분기 이력이다. 성공 분기가 실패를 지우지 않으며 이 trial은 fixed-budget 성공률로 보고하지 않는다.

4 Takeaway

의미

센서 전용 폐루프로 0.1 mm급 정렬과 30 mm 진입까지는 가능하다는 것이 확인됐다. 그러나 조립 성패를 가른 것은 정렬 정밀도가 아니라 (1) 위 서랍을 든 채 유지하는 grasp 강건성과 (2) 놓는 순간의 지지였다: 얕은 옆벽 grip은 회전 토크에 밀리고(roll 21°), 놓으면 서랍이 40°까지 떨어졌다. 또한 접촉으로 하우징이 밀리거나(stage 138: 1 mm/1°) 서랍이 roll 18° 돌아가면 이전에 관측한 기하가 무효가 되어 정렬 근거가 사라진다.

demo 조건화의 순수 효과는 여기서 분리되지 않는다 — demo 없는 baseline, 개발 이력 없는 clean 재실행이 없다.

5 Next Steps

미해결 한계

몸체가 쓰러지면 회복 불가(stage 144 종료). 접촉으로 인한 하우징 이동을 삽입 중 감지하는 수단이 없었음(이후 stationary_tag_guard/stationary_depth_guard 추가, 도구 카드 참조). 복원 시 wrist 원거리 표본으로 인한 거부(043→045, 047→049 등)도 실험 비용으로 남았다.

다음 실험

fresh reset으로 Trial 2(stage 145~)를 시작 — 하우징을 움직이지 않고 서랍만 옮기는 전략, 접촉 중 하우징 이동 감시 도입, stage 212에서 후방 카메라 추가(3-view). 결과는 카드 260921-native_icl_trial2_lower_drawer_insert.