open 태스크는 이전 실험들(260905, 260907)에서 계속 낮은 성능을 보였다(MolmoBot 5.6%, pi0.5 no-goal 11.1%). 사용자 질문: "open도 평가 환경이 학습환경이랑 같은건가? 초기 세팅이라던가 열리는거라던가" — 저성능의 원인이 학습-평가 조건 불일치인지 정량적으로 확인할 필요가 있었다.
학습 config(molmo-augment open: FrankaOpenSlideOmniCam)와 평가 config(FrankaOpenHardBench: OpeningTask)를 물체 종류, 관절 종류(활주/회전), 성공 기준, 관절 시작 상태, 베이스-물체 거리, 초기 팔 자세(표준편차)까지 항목별로 비교. 실패 rollout(pi0.5 no-goal 20k, 198편)에서 실제 관절 이동량을 실측해 카테고리별 최대 열림 비율을 집계.
| 항목 | 학습 (molmo-augment open) | 평가 (FrankaOpenHardBench) |
|---|---|---|
| 생성 config | FrankaOpenSlideOmniCam (미닫이 전용) | OpeningTask (여닫이 포함) |
| 물체 | chestofdrawers 99.5% | 서랍장44 · 책상44 · 스탠드44 · 냉장고44 · 전자레인지24 |
| 관절 | 전부 미닫이 (최종 위치 0–0.38m, 라디안급 0편) | 냉장고·전자레인지 66편(33%)이 여닫이(가동범위 1.57rad) |
| 성공 기준 | 가동범위의 67% | 15% (평가가 더 관대) |
| 관절 시작 | 완전 닫힘(0) | 완전 닫힘(0) |
| 베이스-물체 거리 | 중앙값 0.78m (0.44–1.52) | 0.84m (0.43–1.43) |
| 초기 팔 자세 (std) | 거의 고정(0.056rad) | 랜덤(0.247, 손목 0.854) |
추정 가동범위(관절위치/열림비율)로도 냉장고·전자레인지는 1.57(라디안=여닫이), 스탠드는 0.36(m=미닫이)으로 갈린다 — 관절 종류 자체가 카테고리별로 다르다.
open 저성능(5.6~11%, 260905/260907 카드)의 근본 원인이 학습-평가 물체/관절 분포 불일치임을 정량적으로 확인했다. 초기 팔 자세는 무관하다(전 태스크 공통 현상). 이는 "goal 이미지 조건화가 open을 못 살렸다"는 이전 결론(260905)에 대한 추가 설명이기도 하다 — goal 여부와 무관하게 애초에 학습 데이터에 여닫이 동작 자체가 없었다.
이 교훈은 press 벤치 설계 원칙으로 즉시 재사용됐다: "학습 데이터에 없는 물체·동작이 벤치에 섞이면 점수가 안 오른다."
open 성능을 실제로 끌어올리려면 두 갈래뿐이다: (a) 여닫이 문 데이터를 확보해 재학습, 또는 (b) 벤치를 미닫이 서랍 서브셋으로 재정의해 평가 지표 자체를 학습 분포에 맞춤. 현재 벤치는 여닫이 33% 포함이라 미닫이 전용 모델에는 원천적으로 불리한 구조다.
press 트랙은 이 교훈을 반영해 이미 학습-벤치가 같은 4종 분포로 설계됐다(press bench 카드 참조) — open 재작업보다 우선순위가 밀릴 가능성이 있음. open을 별도로 개선하려면 molmo-augment 계열에 여닫이 문 데이터가 있는지부터 확인 필요.