1 open — 학습 데이터 vs 평가 벤치
| 항목 | 학습 (molmo-augment open) | 평가 (FrankaOpenHardBench) |
|---|
| 물체 | chestofdrawers 99.5% | 서랍장 44 · 책상 44 · 협탁 44 · 냉장고 44 · 전자레인지 24 |
| 관절 | 미닫이 서랍 전용(FrankaOpenSlideOmniCam) | 여닫이 문 66편(33%) 포함 |
| 성공 기준 | 가동범위의 67% | 15% |
| 관절 시작 / 베이스 거리 | 완전 닫힘 / 0.78 m | 완전 닫힘 / 0.84 m |
| 초기 팔 자세 | 거의 고정 (std 0.056 rad) | 랜덤 (std 0.247) — 단 모든 벤치가 동일 |
학습 데이터 (전문가 시연, 4편)
전부 서랍장이고, 서랍을 끝까지 밀어 연다. 카메라는 droid_shoulder.
학습 데이터 서랍장 · 미닫이
"Open the dresser"
서랍 28 cm 열고 종료 = 가동범위의 96% (학습 성공 기준 67%)
학습 데이터 서랍장 · 미닫이
"Open the chest"
서랍 38 cm 열고 종료 = 가동범위의 99% (학습 성공 기준 67%)
학습 데이터 서랍장 · 미닫이
"Open the dark brown wooden dresser"
서랍 33 cm 열고 종료 = 가동범위의 88% (학습 성공 기준 67%)
학습 데이터 서랍장 · 미닫이
"Open the chest of drawers"
서랍 35 cm 열고 종료 = 가동범위의 74% (학습 성공 기준 67%)
평가 벤치 (모델 rollout, 5편 · pi0.5 place_oc 20k)
초록 칩은 학습과 같은 미닫이 유형, 빨강 칩은 학습에 없는 여닫이 문. 성공/실패는 그 편에서 실제로 열린 비율.
평가 벤치 서랍장 · 미닫이 (학습과 같은 유형)
"Open the wooden dresser"
최대 열림 101% (성공선 15%) → 성공
평가 벤치 책상 · 미닫이 (학습과 같은 유형)
"Open the wooden brown desk"
최대 열림 4% (성공선 15%) → 실패
평가 벤치 협탁 · 미닫이 (학습과 같은 유형)
"Open the white side table with black handles"
최대 열림 2% (성공선 15%) → 실패
평가 벤치 냉장고 · 여닫이 (학습에 없음)
"Open the dark refrigerator"
최대 열림 91% (성공선 15%) → 성공
평가 벤치 전자레인지 · 여닫이 (학습에 없음)
"Open the microwave"
최대 열림 0% (성공선 15%) → 실패
평가를 학습과 비슷하게 맞추려면 두 가지 선택지가 있다. (1) 벤치를 미닫이(서랍장·책상·협탁 132편)로 좁혀 학습 분포와 맞춘 하위 벤치를 쓰거나, (2) 여닫이 문 학습 데이터를 새로 만들어 벤치 전체를 커버한다. 지금 수치(전체 11.1%)는 두 분포가 섞인 값이라, 미닫이만 따로 집계하면 학습 효과가 더 선명하게 보인다.
2 press — 벤치는 어디서 왔나
데이터: HF `Keh0t0/molmo-augment` press 트랙 11,070편 / 2,281채 (사용자가 업로드) — 09-09 전량 다운로드·전처리 완료
벤치 : 그중 200채를 집당 1편씩 held-out 으로 골라 스펙으로 변환 → FrankaPressButtonBench_20260908_200ep_json_benchmark
학습 : 나머지 press 1,373채 7,466편 + washer 708채 2,663편 = 10,129편 (09-09 전처리 완료, 두 로더 읽기 검증 통과)
(커피머신 67 · 세탁기 50 · 건조기 43 · 전자레인지 40 / 씬 procthor-objaverse 107 + procthor-10k 93)
새로 만든 것: 태스크 클래스 `molmobot_pi0/eval/press_task.py` (성공 = 손끝→버튼 지점 ≤3 cm ∧ 패널 접촉 ∧ 가전 이동 ≤5 cm),
스펙 변환기 `scripts/build_press_bench.py`, 집계 `scripts/summarize_press.py`, venv 등록 패치
씬을 새로 생성하지는 않았다. held_out_houses.json 의 200채는 학습에서 제외했다.
학습 가능: press config 1,373채 7,466편 · washer config 708채 2,663편 (합 10,129편) → `~/Dataset/molmo_augment_press/{press,washer}` (MolmoBot 은 `mb/{press,washer}`)
학습에 쓸 편 (벤치에 안 뽑힌 집, 5편)
전문가가 뉴트럴 → 접근 → 1초 누름 → 후퇴 → 복귀 순으로 버튼을 누른다. 09-09 에 전량(31 shard) 을 받아 세탁기·건조기까지 준비됐다.
학습에 남는 집 커피머신
"Press the button on the coffee maker"
전문가 시연 · 접근 전진 10.5 cm · 버튼 접촉 1회
학습에 남는 집 커피머신
"Press the button on the machine"
전문가 시연 · 접근 전진 11.3 cm · 버튼 접촉 1회
학습에 남는 집 커피머신
"Press the button on the coffee maker"
전문가 시연 · 접근 전진 12.8 cm · 버튼 접촉 1회
학습에 남는 집 세탁기
"Press the button on the washing machine"
전문가 시연 · 접근 전진 10.0 cm · 버튼 접촉 1회
학습에 남는 집 건조기
"Press the button on the dark front-loading clothes dryer"
전문가 시연 · 접근 전진 10.3 cm · 버튼 접촉 1회
평가 벤치에 들어간 편 (4편, 원본 전문가 시연)
이 집·물체 포즈·로봇 초기 자세가 그대로 평가 스펙이 된다. 평가에서는 이 상태에서 정책이 직접 움직인다.
평가 벤치 편 커피머신
"Press the button on the blue coffee machine"
벤치 에피소드 press/1002 — 이 씬·초기 상태 그대로 평가에 쓴다(전문가 시연 영상)
평가 벤치 편 전자레인지
"Press the button on the black microwave with blue window"
벤치 에피소드 press/1065 — 이 씬·초기 상태 그대로 평가에 쓴다(전문가 시연 영상)
평가 벤치 편 건조기
"Press the button on the dark front-loading clothes dryer"
벤치 에피소드 washer/102 — 이 씬·초기 상태 그대로 평가에 쓴다(전문가 시연 영상)
평가 벤치 편 세탁기
"Press the button on the dark washing machine with transparent door"
벤치 에피소드 washer/112 — 이 씬·초기 상태 그대로 평가에 쓴다(전문가 시연 영상)
실제 평가 rollout (2편, pi0.5 place_oc 20k = press 미학습)
같은 두 집을 새 벤치로 돌린 결과. 판정 수치가 그대로 기록된다.
실제 평가 rollout 커피머신
"Press the button on the blue coffee machine"
실패 — 버튼까지 최근접 8.2 cm, 패널 접촉 339스텝, 가전 밀림 최대 9.8 cm
실제 평가 rollout 세탁기
"Press the button on the dark washing machine with transparent door"
성공 — 버튼까지 최근접 2.7 cm, 패널 접촉 2스텝, 가전 밀림 최대 0.0 cm
판정 감각: 커피머신 편은 버튼까지 8.2 cm 로 멀었고 가전을 9.8 cm 밀어 실격, 세탁기 편은 2.7 cm 까지 접근 + 패널 접촉 + 밀림 0 으로 성공. 접촉만으로 판정하던 초기 버전은 미학습 모델도 2/2 통과해서(패널 body 가 geom 74개짜리 큰 링크) 거리 조건을 추가했다.
3 다음
제안
(1) open: 미닫이 전용 하위 벤치(132편) 집계 또는 여닫이 학습 데이터 추가. (2) press: 200편 기준선 측정(pi0.5 place_oc 20k, MolmoBot no-goal 10k) 후 press 0.10 을 얹어 재학습. (3) press 학습 전 처리 = 65 GB 전량 다운로드 → `obs/sensor_data` 채우기 → press/washer 분리(집 번호 85개 충돌) → held-out 200채 제외.
영상 출처: 학습 open `~/Dataset/molmo_augment_openclose/open/house_*` · 평가 open `rollout_eval/pi05_mlspaces_place_oc/FrankaOpenHardBench/step20000`
press 학습·벤치 편 = `molmo_augment_press/hf/shard_{0000,0001,0022}.tar` 에서 추출 · press rollout = `tmp/press_smoke_run`
로그: claude/260908/{research-molmo_augment_press.md, progress-press_bench.md} · claude/260909 (이 페이지)