학습 데이터 ↔ MolmoSpaces bench-v2 태스크 대응

1배경/목적

Phase 5 15k 파인튜닝(job 68392)을 mlspaces/franka_2cam으로 돌렸는데 두 가지가 불명확했다.

• 계열별 비율이 의도한 값인가 — TRAIN_PLAN 목표는 "4계열 × 계열당 1~2k 궤적"(대략 균등)이었으나 merge 결과를 측정한 적이 없다.
• 학습 태스크가 bench-v2의 어느 런에 대응하는가 — EVAL_PLAN.md:143은 평가 세트를 FrankaPick / FrankaPickandPlace / FrankaOpen / FrankaClose로 잡아뒀는데, Open/Close 학습 데이터 존재 여부가 미해결(EVAL_NOTES.md:255 항목 D)이었다.

2작업 내용

(1) 비율 실측 — merge된 meta/episodes.jsonl(30,464행)을 prompt로 계열 분류(place it next to → NextTo, place it → PnP/Color, 그 외 → Pick)하고 에피소드·프레임을 각각 집계. 프레임 기준으로 본 이유는 openpi 샘플러가 프레임 단위 uniform shuffle이기 때문 — data_loader.py에 WeightedRandomSampler가 없고 DDP용 DistributedSampler(shuffle=True)뿐이다.

(2) config 계보 대조 — bench JSON(molmospaces-dataset)은 경로 불명이라 접근 불가. 대신 로컬 molmospaces/ 코드에서 datagen/bench config 클래스를 직접 대조했다. 두 쪽이 같은 base class를 공유하므로 태스크 정의는 계보로 확정된다.

3결과

3-1. 학습 비율 — 에피소드와 프레임이 역전

다운로드 단계부터 비대칭이었다 (download_manifest.json):

merge 결과 실측 (총 30,464 ep / 4,081,873 frame):

3-2. 태스크 대응표

* Color와 PnP는 prompt로 분리 불가 — 합산치. house 패키지 비(299:1150)로 역산하면 8,466 중 Color가 대략 1,700개 수준(추정).

3-3. 미해결 항목 D 종결 — DoorOpening은 RBY1M

단, Franka용 Open/Close datagen config 자체는 존재한다:

즉 molmobot-data 릴리스에 데이터가 없는 것이지 config가 없는 게 아니다. Option B 자체 datagen 시 config 신규 작성이 불필요하다.

3-4. 완전히 in-distribution인 bench가 없다

gen_benchmark_runs.py:2-3이 bench-v2 생성 격자를 드러낸다 (전부 --split val, scene은 CLI override):

우리 학습 데이터는 base 기본값 그대로 scene_dataset="procthor-10k", data_split="train" (base_pick_config.py:59-60).

3-5. AI2 자신의 평가 세트가 우리 학습 4계열과 일치

scripts/benchmarks/molmobot_evals.sh — molmobot-data로 15k step(우리와 동일) 파인튜닝한 pi0.5(pi05ft)의 평가 런:

7런, open/close 없음. PiPnPBenchmarkEvalConfig 사용.

4Takeaway

• Open/Close는 (a) 세트에서 제외, (b) zero-shot 참고치로만 표기, (c) FrankaOpenDataGenConfig로 자체 datagen 후 재학습 — 셋 중 택1. 판단 근거가 이제 코드로 확정됐다.
• 학습 노출 비율(Pick 35% / PnP 65%)이 평가 세트의 균등 가정과 어긋난다. 계열별 성공률 비교 시 이 비대칭을 반드시 같이 봐야 한다.
• 어떤 bench도 완전 in-distribution이 아니므로 절대 성공률보다 계열 간 상대 비교가 신뢰할 수 있는 신호다.

5보완점 / 다음