rr-bench 공개용 하네스 추출·정리

TL;DR

연구 repo scene_bench의 sbench_eval/exec/online을 rrbench.qa / execution / agent로 추출(ce2b4a4, 291 files, +34,298).
scripts를 execution/ qa/ tools/로 재배치, 경로 파라미터화, GT cell 목록 ship (a6d1a7b, 55 files).
주석 영어화, README·docs 4종, MolmoBot patch, 데이터 목록·launch 스크립트 추가 (16bbcb2, 485 files, +52,797/−6,984).

commits

src .py 모듈

401

tracked files

docs md

1배경/목적

R&R-Bench 논문 표(메모리 QA, GT 지시 실행, recalled 지시 실행)를 외부 사용자가 재현하려면 연구 repo의 내부 경로·한국어 주석·실험 잔재를 제거한 독립 repo가 필요했다. 논문 조건은 src/rrbench/paper_config.py에 고정하고 런처가 적용하는 구조로 했다.

2작업 내용

commit 별

commit	내용	규모
ce2b4a4	live harness(메모리 QA + execution) 추출, paper-condition preset, `pyproject.toml`, `configs/env.sh.example`	291 files, +34,298
a6d1a7b	scripts를 `execution/`, `qa/`, `tools/`로 재배치, 경로 파라미터화(`paths.py`), `make_recalled_cells.py` 신규, GT cell 목록 14개 ship(`data/cells/gt/`), 커밋된 `.pyc` 제거	55 files, +149/−1,084
16bbcb2	주석 영어 번역, README(157줄), `docs/{DATA,EXECUTION,MEMORY_QA,PAPER_ALIGNMENT}.md`, `third_party/molmobot_patch`, 컨텍스트 목록(`data/contexts/*.txt`), pip pin·asset version 파일	485 files, +52,797/−6,984

논문↔코드 대응 (PAPER_ALIGNMENT.md)

MEM^R → rollforward-v3 MemER^R → rollforward-vis-pure (이미지 최대 8장) R&R Agent → tagmem-r3 (rrbench/qa/tagmem.py, execution/online_memory.py) GT 지시 실행 → rrbench.execution.run gt (--plan gt --plan-slot instruction --seed none) recalled 지시 실행 → rrbench.execution.run recalled (--plan read) Writer window → 30초, 4 frames (Resume은 1 fps)

실행 셀 크기: Finding 150 질의, Restore 148, Routine 123, Resume 161 (각 5 methods). Routine은 evidence가 마지막 프레임에 보이는 4행(leak_last_frame)을 제외해 분모 310/314.

3결과

항목	값
추출 후 tracked files / src .py	401 / 58
commit 3개 합계 변경	files 831, +87,244 / −8,068+ (a6d1a7b 포함 합산 아님, 각 commit shortstat 단순 합)
문서화된 논문 문장→구현 매핑	PAPER_ALIGNMENT.md 표 약 16행 + 인용 prompt 표
릴리스에 포함되지 않는 것	modality/image-budget ablation 전용 prompt·probe, goal-image placement study, ED/Ins. 표 전용 tokenisation

이 commit 시점의 코드는 같은 날 감사에서 확인된 문제(Routine 쿼리 프레임 누출 158/314 등)를 아직 고치지 않은 상태다. 감사 결과는 261007-public_release_audit.html 참조.

테스트 실행 수치(pass/fail)는 이 작업 로그에 기록되어 있지 않다.

4Takeaway

논문 표 재현 경로(QA: rrbench.qa.run, 실행: rrbench.execution.run, 집계: scripts/execution/aggregate.py)가 문서와 cell 목록으로 연결되어 외부 재현의 골격은 갖췄다. 일부 ablation은 의도적으로 제외되어, 해당 표는 이 repo만으로 재현되지 않는다.

5Next Steps

감사에서 나온 하네스 버그(Multi grounding, Routine 쿼리 프레임 episode_loader.py:120) 수정 후 재검증.
익명성·비공개 자산(scene card, 체크포인트) 정리 및 문서 명령 오류 수정.
제외된 ablation 스크립트를 공개할지 결정.