TL;DR
- 동작 보존 추출: 최종 진입점에서 도달하는 49모듈만 옮겨
rrbench 한 패키지로 통합, 프롬프트 34 → 10, 스크립트 99 → 17.
- 논문 조건과 같음을 기계적으로 확인: 실행 컨트롤러 프롬프트 384 조합이 논문 스냅샷 4종과 바이트 동일, 원본 대비 영어 문자열 상수 차이는 전부 의도한 변경.
- 코드 기본값은 논문 조건이 아니었다: R&R 수정 상시 on · pick 정면 보정 on · strict 카메라 미배선 3건을 스위치/기본값으로 정리.
- 논문 문구 쪽 불일치 13건: "3회 독립 실행 평균", writer 문장, 코호트 크기 등은 사용자 결정 필요.
1 배경 / 목적
논문 재현성 선언문이 평가 하네스 공개를 약속하지만 원본 저장소는 옛 프로토콜·파일럿·캠페인 전용 스크립트가 섞여 있고 README 가 없었다(tmp/ 4,410항목).
사용자 결정: 범위 = 하네스 3종 + VLA 서버 패치/파인튜닝 설정 · 실명 공개 · 주석 영어 번역(프롬프트 바이트 불변).
2 작업 내용
추출 AST import closure (run_eval_v1 · run_eval_resume · run_eval_routine · sbench_exec.online) → 49모듈
통합 sbench_eval/exec/online → rrbench.qa / execution / agent, SBENCH_* → RRBENCH_*
조건 src/rrbench/paper_config.py + 런처 (python -m rrbench.qa.run, python -m rrbench.execution.run)
수정 RRBENCH_RR_FIX(기본 0) · RRBENCH_PICK_FACE_EXACT 기본 0 · RRBENCH_STRICT_POLICY_CAMERA 배선 이식
번역 약 6,850줄 (서브에이전트 7 병렬) — 번역 전 커밋과 위치별 AST 대조
패치 third_party/molmobot_patch (33c0ca7 대비 18파일 +313/−25, 파인튜닝 런처·config·freeze)
문서 README · docs/DATA · MEMORY_QA · EXECUTION · PAPER_ALIGNMENT
3 결과
| 항목 | 원본 | 공개본 |
|---|
| src 모듈 | 71 | 49 (+ 신규 5) |
| 프롬프트 파일 | 34 | 10 |
| 스크립트 | 99 | 17 |
| 테스트 | 1,244 (16 실패) | 1,031 (0 실패) · 데이터 없이 966 통과 / 65 스킵 |
| 한글 | 약 6,850줄 | 0자 |
| 크기 | — | 파일 401개, 6.3 MB |
프롬프트 패리티: src_main4 · src_main7 · src_main13 · src_s6 와 384/384, src_r3 공통 288/288. 번역 후 재측정 0 차이. 프롬프트 파일 10개 cmp 동일.
돌려 보지 않은 것: download_data.py 실제 다운로드, GPU 스크립트 3종, rrbench.execution.run 실제 실행, 깨끗한 환경 pip install.
논문(Overleaf efe087a) 대조 — 주요 불일치
| 논문 | 실제 |
|---|
| "averaged over three independent runs" | 표 생성기는 (질의, 전략)당 1행을 assert |
| writer = Gemini 3.7 Flash | 오픈 reader 2종의 Finding/Restore/Routine MEM^R 칸은 reader 가 직접 쓴 메모리 |
| GT 실행 R&R 행 | Restore 칸만 strict-camera 재현 런으로 교체 |
| "differ by at most five" | GT 실행 코호트 150/148/161/123, Routine 회상 분모 253 |
| QA 정답 조건부 성공률 보고 | 컴파일되는 표 없음 |
| VLA "Place within 10 cm" | 같은 표에서 17.7 / 17.5 |
| 파인튜닝 레시피 | place_oc 일치 · press 변형은 place_oc@10000 에서 이어 학습(미기재) |
전체 13건과 근거 위치는 claude/261007/progress-public_release_rr_bench.md.
4 Takeaway
원본 src/ 를 그대로 공개했다면 R&R Agent 실행 행이 재현되지 않았다 — 논문 수치는 R&R 수정 전 코드로 나왔고 수정은 스위치 없이 켜져 있었다.
논문 문구 쪽에 고칠 것이 코드보다 많다. 공개 문서에는 재현에 필요한 사실만 넣고, 문구 불일치는 작업 로그에만 남겼다.
5 Next
- 결정 필요: 데이터 생성기(yoon0330/scene-mem)·scene card 공개, 체크포인트 공개, LICENSE, 논문 문구, 표 5·6 재현 코드 포함 여부, HF 단일 리비전 정리.
- 검증 남음: 깨끗한 환경 설치 + QA 1편 실측(사전 승인), GPU 스모크 1칸.
- 2차 정리 후보: 파일 내부 옛 판 분기(tagmem READ_GUIDES v2~v14 등) — 이번엔 동작 보존을 위해 남김.