"실제 사람이 수행한 시연 하나만 보고, 시뮬레이터 피드백으로 코드를 반복 수정해 조립 정책을 만들 수 있는가"를 검증하는 demo_icl(one-human-demo drawer pilot) 트랙. FurnitureBench drawer 태스크(low randomness)를 대상으로 data/human_demo_icl/drawer/00000/00000.pkl 데모 1개만 사용한다.
v2 실패 이후 v3에서 접촉·파지 지점 자체를 17라운드에 걸쳐 반복 수정했다. 동일 개발 seed(43101)를 반복 사용했으므로 라운드 간 비교는 독립 표본이 아니라 단일 궤적의 점진적 디버깅이다.
v4에서 round16 버그를 수정 — 전진축만 정지시키고 횡방향 기준점과 정지 깊이는 유지하도록 변경. Panda FK 검증(89개 관측 대비 위치오차 4.93e-7m, 회전오차 1.114e-6rad)은 계속 유지. 개발 seed 43101에서 official success + all_currently_matching 확인 후 정책을 동결(SHA 11dbb4c0…)하고, 사전 지정한 unseen heldout 10개(69101–69110)를 독립 Slurm extra job으로 평가했다. 평가 결과로 정책을 다시 수정하지 않았다(선택 후 동결 원칙).
| Seed | 공식 전체 조립 | 최종 동시 pose | Step | 비고 |
|---|---|---|---|---|
| 69101 | 성공 | 일치 | 1847 | — |
| 69102 | 성공 | 일치 | 1656 | — |
| 69103 | 실패 | 불일치 | 3500 | 재삽입 시도 중 조립 상태 크게 교란 |
| 69104 | 실패 | 불일치 | 3500 | 정책 done 도달했지만 최종 오차 잔존(아래 10.45mm / 위 5.27mm) |
| 69105 | 실패 | 불일치 | 3500 | 부분 삽입 후 재파지·들기 실패 |
| 69106 | 성공 | 일치 | 1710 | 선점(job 127711) 후 재개, 완료분 보존 |
| 69107 | 성공 | 일치 | 1694 | — |
| 69108 | 성공 | 일치 | 1663 | — |
| 69109 | 성공 | 일치 | 2826 | — |
| 69110 | 성공 | 일치 | 1815 | — |
합계: 7/10 = 70%, 실행 오류 0건, 성공 스텝 중앙값 1710. 개발 seed(43101, 성공) 1건은 이 10개 heldout에 포함되지 않음.
Single-demo code-as-policy 접근이 drawer에서 70% 일반화를 달성한 것은 FurnitureBench 실험 라인 중 가장 높은 축에 속하는 결과(참고: scripted one_leg v2 98.3%, 별도 트랙). 다만 이 조건은 물체 정답 pose와 벤치마크 조립 목표를 그대로 읽는 privileged 시뮬레이션 조건이며, 유료 LLM API 호출 없이 반복 코드 수정만으로 도달했다. one-shot ICL 효과나 RGB-only/실환경 성능으로 해석할 수 없다 — 이 privileged 가정 자체가 다음 단계(다음 카드 참고)에서 사용자 요구에 의해 금지되어 v5가 즉시 중단되었다.
실패 3/10 모두 삽입 재시도·재파지 단계 — 최종 재확인(재검증) 로직과 실패 후 복구 안정성 보강 필요. 정책의 자체 done 판정이 실제 채점 결과와 어긋나는 사례(69104) 존재.
이 v4 정책·70% 결과는 동결(더 이상 수정하지 않음). 후속 개선 시도(v5)는 privileged 정답 입력 사용을 이유로 즉시 중단됨 — 실제 개선 트랙은 센서 전용 파이프라인 카드로 이관.