사용자 지시: "open은 그 미닫이? 학습에 본거만 eval 한 결과 sr은 얼만지 알려주고". 09-08에 확인된 open 학습-평가 갭(학습 데이터 = 미닫이 서랍 99.5%,
평가 벤치 FrankaOpenHardBench = 여닫이 문 33% 포함 5종 균등)을 실제 부분집합 성공률로 정량화하는 작업.
기존 카테고리 라벨(가전 종류)이 아니라 실측 가동범위로 미닫이/여닫이를 재분류했다 — 카테고리만으로는 냉장고 안에도 서랍형이 섞여 있어 부정확하기 때문.
분류 결과: 미닫이 143편 / 여닫이 55편. 냉장고 44편 중 11편은 서랍형으로 재분류되어 미닫이 쪽에 포함(전자레인지는 전부 여닫이).
| 범위 | 편수 | pi0.5 no-goal 20k | pi0.5 goal (place_oc) | pi0.5 no-goal 10k | pi0.5 zero-shot 15k | MolmoBot no-goal | MolmoBot goal |
|---|---|---|---|---|---|---|---|
| 전체 | 198 | 11.1% | 11.1% | 11.1% | 6.6% | 8.1% | 5.6% |
| 미닫이 (학습 유형) | 143 | 12.6% | 11.9% | 13.3% | 7.0% | 7.0% | 4.2% |
| 여닫이 (미학습) | 55 | 7.3% | 9.1% | 5.5% | 5.5% | 10.9% | 9.1% |
| 서랍장 (학습 물체) | 44 | 20.5% | 25.0% | 18.2% | 6.8% | 9.1% | 9.1% |
미닫이 카테고리별 성공률 (pi0.5 no-goal 20k / goal place_oc / zero-shot 15k):
| 물체 | no-goal 20k | goal place_oc | zero-shot 15k |
|---|---|---|---|
| 서랍장 | 20.5% | 25.0% | 6.8% |
| 책상 | 9.1% | 6.8% | 6.8% |
| 협탁 | 6.8% | 6.8% | 9.1% |
| 냉장고 (서랍형 11편) | 18.2% | 0.0% | 0.0% |
open 벤치를 "학습과 비슷한 평가"로 맞추는 것만으로는 점수가 크게 오르지 않는다(11.1% → 12.6%). 09-08에 세운 가설(학습-평가 물체·관절 갭이 원인)은 부분적으로만 맞다 — 진짜 병목은 관절 종류가 아니라 물체 다양성이다. 서랍장 외 물체(책상·협탁)에 대한 증강 데이터가 없으면 벤치를 아무리 좁혀도 성능이 회복되지 않는다.
책상·협탁·여닫이 문에 대한 증강 데이터가 전무해 서랍장 외 물체로의 일반화를 검증할 수단이 없다. 냉장고(서랍형 11편)는 goal 모델·zero-shot 모두 0.0%로 유독 낮아 원인 미파악(카메라 각도·서랍 크기 등 추가 조사 필요).
open 미닫이 전용 하위 집계(서랍장+책상+협탁 132편)는 기존 rollout h5 재집계만으로 추가 SLURM 잡 없이 가능 — 우선순위 낮은 정리 작업. 실질적 개선을 원하면 서랍장 외 물체(책상·협탁·여닫이 문)에 대한 신규 증강 데이터 생성이 필요하다.