Index
2026-09-08 — Research

molmo-augment press 트랙 데이터 조사

MolmoBot | HF Keh0t0/molmo-augment 4번째 트랙 (버튼 누르기)

TL;DR

11,070
편 (전부 성공)
65.2GB
shard 31개
2
configs (press/washer)
129
지시문 종류

1 배경 / 목적

사용자 지시: "푸시도 올려뒀다는데 데이터 확인해줄래" — HF Keh0t0/molmo-augment에 새 트랙이 업로드됐는지 확인하는 작업. 실제 이름은 press(밀기가 아니라 가전 버튼 누르기), 2026-09-07 17:04 UTC 업로드로 place/open/close에 이은 네 번째 트랙이다.

사전 점검 목적: 학습 투입 가능성과 함정(과거 open/close에서 겪은 sensor_data 공백, place에서 겪은 프롬프트 유실)을 데이터 다운로드 전에 확인한다.

2 작업 내용

huggingface_hub로 저장소 파일 목록·용량·press/README.md·press/index.json을 다운로드 없이 조회. h5 스키마 확인은 shard 전체(1~2GB)를 받지 않고 tar 헤더만 Range 요청으로 훑어 첫 h5 멤버 구간만 내려받는 방식으로 3.8MB만 받아 검사(tar가 무압축이라 가능). 평가 가능성은 molmospaces-bench-v2의 procthor-10k/procthor-objaverse 벤치 목록과 설치된 molmo_spaces에 press 태스크 클래스 존재 여부를 grep으로 확인.

확인 경로: tmp/press_peek/sample.h5 (3.8MB, tar Range 요청) 샘플: press/house_15/trajectories_batch_1_of_2.h5 (traj 3편) 대안 대비: shard 전체 다운로드(1-2GB) 대신 tar 헤더 Range 요청 → 대역폭 99% 절약

3 결과 (수치)

규모

항목값
집 / 에피소드2,281채 / 11,070편 (전부 success[-1] True)
용량 / shard65.2GB / 31개 (1.0–2.2GB, 무압축 tar)
제외h5 없는 mp4-only 9편, 집 4채
스텝중앙값 244 (145–301), 접근축 전진 중앙값 10.1cm
카메라6종 (open/place와 동일)

저장소 전체 규모: place 121.4GB(102파일) · open 32.7GB · close 28.0GB · press 65.2GB

두 config가 한 트랙에

접두config / 씬물체집편
press/FrankaPressButtonOmniCamConfig (procthor-objaverse)coffeemaker 5,458 · microwaveoven 2,6001,4808,058
washer/FrankaPressButtonWasherOmniCamConfig (procthor-10k)automaticwasher 1,489 · clothesdryer 1,5238013,012

함정 2개 (학습 전 처리 필요)

① sensor_data 공백: obs/sensor_data 그룹이 비어 있음 — open/close와 똑같은 문제. 로더가 mp4 파일명을 여기서 읽으므로 채우기 스크립트 필요(파일명 규약 episode_{i:08d}_{cam}_{batch}.mp4 일치는 확인됨).
② 집 번호 충돌 85개: press/house_N과 washer/house_N이 서로 다른 씬인데 번호가 겹침 → 한 디렉토리에 합치면 덮어씀. 두 데이터셋으로 분리하거나 접두를 붙여 rename 필요(비율도 따로 줄 수 있음: press 8,058 / washer 3,012).

평가 수단 없음

병목: molmospaces-bench-v2의 procthor-10k/procthor-objaverse 어디에도 press 벤치가 없고, 설치된 molmo_spaces에 PressButton 태스크 클래스도 없음(생성 쪽 커스텀 config). closed-loop 성공률을 재려면 벤치·태스크 클래스를 직접 만들거나 hand-off 벤치처럼 자체 러너를 짜야 한다. 당장 가능한 건 val split을 뗀 open-loop L1뿐.
스키마 정합: obs_scene.task_description에 지시문 원문("Press the button on the coffee maker")이 그대로 보존(129종, 색·형태 수식어 포함) — place 때 겪은 변환 중 지시문 유실 위험이 없다.

4 Takeaway

의미

press는 place/open/close와 같은 파이프라인에 그대로 얹을 수 있다(지시문·스키마 정합, sensor_data만 수리하면 됨). 데이터 품질 지표도 전부 통과(11,070/11,070 pressed ∧ clean). 물체 구성이 coffeemaker 49% + microwave 23% + 세탁/건조기 27%로 open(서랍장 99%)보다 다양해, open에서 겪은 "학습 물체에서만 습득" 문제는 덜할 수 있다 — 특히 microwaveoven은 Open/Close 벤치에서 두 모델 모두 0/23이던 카테고리라 press에서의 개선 여부가 흥미롭다.

다만 평가가 병목이다. open/close는 기존 HardBench가 있어 성공률로 검증했지만 press는 벤치가 없어 "학습은 되는데 성능을 못 재는" 상태가 된다.

5 Next Steps

미해결 한계

아직 전량 다운로드·학습을 하지 않은 상태. 다운로드·추출 ≈ 65GB(shard) + 60GB(추출) = 125GB (NAS 여유 102TB라 문제 없음).

다음 작업

1) prep_openclose.sh와 같은 방식의 prep_press.sh(추출 → sensor_data 채우기 → index/stats 생성) 작성.
2) 학습 레시피: 기존 place_oc(main 0.24/Pick 0.12/PnP 0.08/NextTo 0.12/Color 0.08/place 0.16/open 0.10/close 0.10)를 비례 축소해 press 0.10 추가.
3) 평가 수단 확보 — 이미 착수: press 전용 벤치 신설(별도 카드 참조).