TL;DR
데이터·채점·하네스 쪽에서 전체 재실행을 막는 문제는 없습니다. 실행 트랙 실패의 큰 몫은 VLM이 pick 성공을 프레임으로 판단하지 못하는 것이고, 이는 설계상 의도된 조건입니다.
1,857/1,865
정답 위치 confirmed
1배경/목적
사용자 결정(2026-10-14): ablation은 샘플 뒤 전체 재실행, 메타 프롬프트는 현 상태 유지, writer에 외부 카메라 안 줌, 애매한 항목은 추천대로. 그리고 "전체 재실행 전까지 할 일 다". 전체 재실행 전에 데이터·채점·하네스가 실제 모델과 시뮬레이터에서 정상인지 확인합니다.
2작업 내용
소유자 결정 반영
- 이름 후보 전부 유지.
restore:train_6222__0:q05 제외(새 사유 owner_place_undecidable) → Restore 563. 8171의 두 질의에 별칭 shelf 추가.
build_v2.py apply_owner_decisions(), validate_v2.py·readme_v2.py·테스트 갱신.
실행 환경 수정
scripts/execution/serve_policy.sh: MUJOCO_GL=disable. 정책 서버가 egl을 물려받으면 PyOpenGL EGL import에서 죽음.- conda activate를
set +u로 감쌈, API key label 교체(_2 만료), GPU job은 --qos=own.
3결과
QA 샘플 (6방법 × 10녹화, 58분)
| 가족(질의) | blind | textlog | uniform | MEM^R | MemER^R | R&R |
|---|
| Finding (13) | 3 | 7 | 7 | 4 | 7 | 7 |
| Restore (10) | 0 | 4 | 2 | 3 | 1 | 4 |
| Resume 61871a3e (4) | 1 | 4 | 1 | 1 | 1 | 1 |
| Routine (7) | – | 7 | 3 | 5 | 3 | 4 |
오류·파싱 실패·재시도·어휘 밖 단어 모두 0. 옛 이름(ladle, pepper shaker) 0. 바닥 정답은 방까지 채점됨. Resume fd856246(3질의)은 textlog 3, R&R 2.
시뮬레이터 정답 위치 검증
| 가족 | confirmed | contradicted |
|---|
| Finding | 1,068 | 6 |
| Restore | 789 | 2 |
| 물체 | 실제 상태 | 조치 |
|---|
| train_4392__2 펜 (식탁) | 최종 상태에서 로봇 몸체 위 | 이미 object_on_robot으로 제외됨 |
| train_8077__2 펜 (조리대) | 조리대 위 토스터 위에 얹힘 | "조리대"가 맞는 답, 불필요 |
| train_4584__0 스프레이병 (서랍장, hidden) | 서랍장 안은 맞음, 서랍이 열려 있음 | 점수 영향 없음, hidden 표시만 다름 |
실행 스모크
| 가족 | 셀 | 성공 | VLM 비용 | 시간 |
|---|
| Finding | 20 | 6 | $2.78 | 5.3 h |
| Restore | 10 | 3 | $1.74 | 2.8 h |
| Resume | 10 | 8 | $0.60 | 0.5 h |
| Routine | 5 (비용 상한) | 0 | $3.16 | 2.9 h |
실패 유형: Finding에서 메모리 방법도 첫 이동으로 정답 가구에 도착했지만, pick 실패 뒤 VLM이 "잡았다"며 done(false_done). Routine에서는 수건을 실제로 들고 있는데도 "아직 안 들렸다"며 pick을 반복해 60턴을 소진. 프롬프트가 성공 여부를 알려주지 않는 설계("Nobody tells you whether it succeeded")에 따른 동작이며 하네스 버그는 아님.
4Takeaway
데이터·채점·하네스는 재실행 준비 완료. 시뮬레이터 검증으로 v2 정답 위치의 물리적 근거 확보(채점 영향 오류 0). 실행 점수 해석 때는 false_done·반복 pick을 따로 세어 보고할 가치가 있음.
5Next
- 전체 재실행(승인 필요): QA 4가족 × 6방법 ~$360, 실행 GT 2,910셀 ~$670·~810 GPU·h(own 8 GPU로 ~4일), recalled, writer 입력 ablation 재개.
- Routine 비용 추정은 한 에피소드 5셀 기준이라 오차 큼.