MolmoBot

MolmoSpace(allenai/molmobot-data) 데이터로 pi0.5를 finetuning — action 규약을 pi0.5 pretrained

29 reports 6 weeks

260921 — 260927 1 report · 5 tables 1

MolmoBot websocket serving 실사용 검증 — 144회 런치와 StatefulPolicy 상속 불일치

260918에 추가한 \1의 \1 websocket 서빙이 09-18~21(UTC)에 144회 런치·17,085 connection·서버 예외 0건으로 실사용됨(미검증 항목 해소). 다만 144/144 런치에서 \1가 찍힘 — \1가 로컬 \1를 상속해 서버의 \1 검사에 실패하기 때문. 측정된 영향: 클라이언트 2개를 붙인 5개 런치(1,714 connection)에서 connection 시간의 50.8%가 \1 대기(평균 39.0 s, 최대 219.7 s). 코드상 추정(미측정): 서버가 connection마다 \1을 호출하지 않아 connection의 99.2%(16,941/17,085)가 직전 episode의 \1/\1를 이월한 채 시작.

260914 — 260920 1 report 1

MolmoBot 정책 websocket serving 지원 추가

scene_bench 온라인 하네스는 정책을 websocket으로만 연결 가능한데, MolmoBot(F=2, goal-conditioned)은 지금까지 in-process(\1, \1)로만 실행됐음. \1에 `type == \

260907 — 260913 9 reports · 15 tables 9

Press bench 첫 학습·평가 — pi0.5 vs MolmoBot

press+washer 트랙(0.07/0.03) 10K step 추가 학습 → FrankaPressButtonBench 200편에서 MolmoBot \1, pi0.5 \1. no-press MolmoBot은 완전 실패(0/202)였다가 학습 후 pi0.5(23.0%)를 역전해 전체 최고

molmo-augment press 트랙 전량 데이터 준비 완료

press 트랙 shard 31개(61GB) 전량 다운로드→추출→config 분리→index/stats 생성 파이프라인 완주 — 학습 가능 10,129편(press 7,466 + washer 2,663) 확보, MolmoBot·openpi 두 로더 검증 통과

Open 미닫이 부분집합 성공률 분석 — 물체 단위 전이

Open 학습-평가 갭을 관절 종류(미닫이/여닫이)로 좁혀 재집계 — 전체 11.1%→미닫이 12.6%로 소폭 개선에 그치고, 서랍장(학습 물체)만 20.5%(zero-shot 6.8%의 3배)로 물체 단위 전이만 확인됨

Open 태스크 학습-평가 환경 갭 정량 분석

open 학습 데이터(미닫이 서랍 99.5%)와 평가 벤치(여닫이 문 33% 포함)가 물체·관절 종류부터 다름을 확인 — 초기 팔 자세 갭은 전 태스크 공통이라 원인 아님

FrankaPressButtonBench 신설 — press 평가 벤치 구축

press 트랙 평가 수단이 없어 \1 클래스 + 200편 벤치 직접 구축, 로그인 GPU 스모크 3회로 판정 로직(거리+접촉+가전 이동) 검증 완료

molmo-augment `press` 트랙 데이터 조사

HF에 새로 올라온 press(버튼 누르기) 트랙 11,070편/65.2GB 스키마·품질 확인 — 학습 투입 가능하나 \1 공백·집 번호 충돌 등 open/close와 같은 함정 반복, 평가 벤치는 아직 없음

no-goal 기준선 결과

goal 없이 학습한 place+open/close 기준선(pi0.5 20k·MolmoBot 10k): replace 정밀도가 goal 모델 goal-off와 동일(p≥0.36) → goal 이득 확정(pi0.5 @10cm 6.8→27.4%, MolmoBot 17.7→63.8%); open은 goal 무관(MolmoBot 백본 문제), Close pi0.5 no-goal 56.5%(노출량 교란)

open 학습-평가 갭 확인과 press 벤치 신설의 영상 근거

open · press 샘플 영상

open 학습 영상(미닫이 서랍만)과 평가 벤치(여닫이 33% 포함) 샘플 비교 + press 벤치 출처 설명(업로드 데이터에서 held-out 200채 선별, 태스크·판정만 신규)과 학습/평가/rollout 샘플 영상

Hand-off 장면 교란 강건성 평가

hand-off replace를 장면 교란(물체 추가/제거)에서 재측정 — goal-on은 완만하게 저하(거리 +3~4cm, replace@10 -6~14%p)하지만 같은 교란의 goal-off보다 여전히 압도적(거리 절반, replace@10 3.5~4배)

260831 — 260906 10 reports · 38 tables 10

molmo-augment 검토

\1 place 트랙 검토 — NextTo 원본의 place 구간(평균 32%)만 잘라낸 15,043편. 용도는 2-stage(pick→nav→place)의 low-level VLA로, 물체를 든 채 제어권을 넘겨받는 상태가 곧 clip 시작 분포라 목적에 부합. 포맷 100% 호환, goal image는 \1 한 줄로 3번째 슬롯에 투입 가능. 다만 지시문에 \1 접두가 그대로 남아 있고 \1 라벨 442편(2.94%)은 지지면 탐지 실패 폴백

데이터 검토 결과를 학습 가능한 형태로 통합

Augment 통합 작업

molmo-augment place 트랙을 학습 파이프라인에 통합 — tar→house 레이아웃 변환, 통계·인덱스 생성, 지시문 재작성, 카메라 누락 16편 제외, house 단위 val split까지. 문제 7건 발견·처리, 학습 제출(105831). goal image는 미연결(다음 단계)

통합한 place 데이터로 학습한 결과

Place Q1 결과

Q1 place를 잘하는가 — place 데이터 0.20 추가 학습(place@10k)이 hand-off 배치 val 오차를 \1(gripper \1) 줄이고, rollout 3태스크는 손해 없이 평균 24.0→26.3%로 전 ckpt 최고. init·step 동일한 통제 A/B. Q2 goal image 학습(107367) 진행 중

Q1 open-loop 결론을 사용자 측정 정의(closed-loop hand-off)로 재검증

hand-off place closed-loop — Q1·Q2 재측정

'든 채 시작 + Place 명령' closed-loop 벤치 구축 → place 데이터·goal image 모두 성공률 무변화(21–24%). open-loop는 개선(place −22%, goal arm −23%, 틀린 goal +50%) → open-loop L1은 대리 지표로 부족. 병목은 '어디에 놓느냐'. goal 기하 갭 가설은 crop 프로브(0.0768, 이득 73% 유지)로 기각, 진단 완료: 틀린 goal 19.7%, 늦은 프레임 23.9% — goal 조건화는 closed-loop 성공률을 못 바꿈

결과 요약 리포트의 전체 실험 기록(방법·입력·rollout·실패/성공 상세)

Hand-off Place 실험 기록

hand-off place 실험 전체 기록: 데이터·goal 주입 방식(3번째 이미지 슬롯)·실제 입력 이미지·학습·open-loop/closed-loop 평가 절차·sim rollout 구조·결과(6조건 전부 21–24%)·실패 분석·진단·한계

v1 실험 기록의 후속 — 성공 기준(replace) 보강 + goal 주입 방식 v2 결과

goal v2 replace 결과

goal v2(late-attention + 배치 완료 프레임): hand-off replace@5cm 3.4%→12.8%, @10cm 9.4%→36.8%, goal까지 거리 31→13 cm (117편, p<1e-5). 산만 물체 추가/제거 교란에도 goal on≫off 유지(16 vs 29 cm). 단, 프롬프트가 next-to였음(09-04 정정)

프롬프트 오류 정정 후 재학습(open/close 추가) 결과

place+open/close goal v2 결과

복원 프롬프트(참조 물체 없음)로 학습한 place+open/close goal v2: hand-off replace@5cm 12.0% / 15 cm (goal off 0.9% / 44 cm 맹목), v2와 동급 정밀도; Open은 서랍장에서만 6.8→25%, Close 무변화

같은 레시피를 MolmoBot(F=2)에 적용한 비교 실험

MolmoBot goal 학습 결과

MolmoBot(F=2)에 같은 place+open/close 레시피와 goal 이미지 주입으로 10k step: hand-off replace@5cm 35.4% / 6.7 cm (pi0.5 place_oc 12.0% / 15.1 cm, p=0.0015), goal off 4.6% / 26 cm — 정밀도는 goal 덕; Open은 5.6%로 pi0.5(11.1%)보다 못함, Close 동급

goal 기여 분리를 위한 no-goal 기준선

no-goal 기준선 학습

goal 없이 place+open/close만 학습한 기준선 2개 제출(own): pi0.5 111202 20k step, MolmoBot 111262 10k step — goal 모델 'goal off'가 순수 언어 기준선인지 확인용

v2 goal 다음 단계: open/close 트랙 추가 학습 전 데이터 점검

데이터셋 갤러리 open·close·place

molmo-augment open(7,516편)/close(7,558편)/place 데이터셋 영상 갤러리 — 트랙별 4편(학습 exo + wrist), 길이 분포, 형식·준비 사항, open/close 0.1씩 얹는 학습 레시피

260817 — 260823 5 reports · 10 tables 5

Phase 2 Mixture 데이터 준비

Phase 2 aux mixture 데이터 준비 완료 — 4종 4.6TB 다운로드+3중 무결성 검증, 총 \1 에피소드 클린. MIX=1 학습(83196, 8 GPU own, 20k step) 제출됨

Phase 2 mixture 학습의 최종 평가 결과

Mixture vs Part1 A/B 최종

aux mixture vs part1 단독 A/B 완결 (24칸, HardBench 200ep) — Pick은 mixture 압도(최고 21.0% = part1의 2.2배, z up to 4.5), PnP는 part1의 15k 정점 48.5%만 못 따라감, NextTo는 전용 데이터를 넣고도 무변화. 범용 최적 ckpt = \1

A/B 완결 후 스킬 확장 가능성 조사

Task 커버리지 조사

MolmoBot-Data의 Franka 부분은 사실상 pick/place 단일 스킬 — open/close 데이터는 RBY1 전용이고 close 전용 데이터는 아예 없다. 버튼 누르기는 전무. 반면 \1/\1 평가는 존재하며, Close 벤치는 코드 하드코딩으로 사실상 망가져 있다

태스크 커버리지 조사에서 발견한 Open/Close 벤치의 실제 측정

Open/Close Zero-shot

Open/Close zero-shot 실측 — Open 4.0~6.5% vs Close 48.0~58.0%로 두 모델이 같은 비대칭 재현, 단 Close에서는 모델 간 구분 불가(z=1.01). 에피소드 h5 검증 결과 58%는 진짜 움직임이지만 '닫기 능력'이 아니라 '벤치마크가 push형에 관대함'을 측정한 값. 배포판 Open/Close 벤치는 스키마 결함으로 원래 한 에피소드도 못 돌던 상태였다

83196 mixture 학습의 설정 버그 발견·수정·재제출

Phase 2 Mixture 학습 설정 버그: tyro 파싱으로 main+Color만 학습됨

job 83196 mix eval 결과가 part1-only와 동일 수준으로 나와 조사 → tyro의 \1 파싱이 반복 플래그의 **마지막 값만 남기는** 버그 확인, 실제로는 main 0.85 + Color 0.15만 학습됨 (aux 4종 중 3종 누락). 스크립트를 단일 플래그 형식으로 수정 + 로드 데이터셋 검증 단계 추가해 job 84260 재제출 (RUNNING)

260810 — 260816 3 reports · 7 tables 3

pi0.5 × MolmoSpace Finetuning 준비 상태 전수 점검

scenemem 선행작업 검토 후 배제 → AllenAI 공식 MolmoBot-Pi0 \1 경로로 독자 셋업. part1 전체 다운로드(221k ep/58.1M frame), action·gripper·state·padding 규약 전부 실측 검증, ckpt 변환·로드 확인, 학습 제출 준비 완료

본 학습 제출 후속 — worker 환경 이슈

Worker Triton JIT 실패 분석 (job 80517)

pi0.5 본 학습(80517)이 worker Triton JIT \1로 6분 만에 사망 (§13 함정, sacct는 COMPLETED로 위장). \1로 수정, 1 GPU worker 스모크(80865) 제출. 트레이너에 중간 평가는 없음 확인

학습 완주 후 결과 리포트

pi0.5 × MolmoSpace part1 — 학습·평가 결과

pi0.5×MolmoSpace part1 학습 20k 완주(12.5h, loss 0.011). Rollout: 학습 태스크 PnP HardBench 최고 \1(15k ckpt)로 논문 pi0.5 ft 평균(36%) +12.5%p 상회. 미학습 태스크는 낮음(Pick 7.5/NextTo 10.5) → aux mixture 학습 착수(4.6TB 다운로드 중)

Auto-generated — python build_index.py — 2026-10-23 12:47