rr-bench

도착 시 base 높이를 학습 규칙(pick 물체 z − 0.75, open 서랍 z − 1.0)에 맞추는 스위치. VLM 없는 A/B에서 pick \1 (짝 25 대 12, p=0.047), open은 \1로 여전히 거의 실패 (API 비용 $0)

pick 접근을 가까운 링부터 하도록 navigate 수정. VLM 없는 A/B 115짝에서 첫 pick 성공 \1, 도착 거리 중앙값 \1, 짝 비교 22 대 11 (API 비용 $0)

data v2 메모리 QA 전체 완료(1,754질의 × 6방법, 오류 \1, 약 $333). 메모리 방법 중 R&R Agent가 5세트 모두 1위, Finding에선 GT Action Log도 넘음(\1 vs \1)

전체 재실행 전 점검 완료: QA 샘플 오류 \1 ($7.55), 시뮬레이터 정답 위치 \1 confirmed (나머지 8개 채점 영향 없음), 실행 스모크 \1셀 오류 \1. 재실행 추정 QA ~$360, 실행 GT ~$670

이름 합치기 뒤 7개 녹화 재시험: 오류·파싱 실패 \1, 비용 \1. Resume GT Action Log에 옛 단어(pepper shaker)가 남던 버그 1건 발견·수정. 결정 필요 3건(바닥 정답의 방, 실패한 이동의 로그, 복수형 오타)

물체 모델 216종을 화면에서 직접 확인: 이름과 생김새가 다른 모델 21종(remote control 6종 전부, vase 4종, ladle 4종, 붉은 potato 4종, pepper shaker 2종, hand towel 1종). Finding \1, Restore \1 질의가 해당. remote control 질의에서 R&R Agent \1 vs 나머지 \1

writer 입력 ablation 시험 실행(녹화 4개, $9.21): v2 파이프라인 정상, 어휘 밖 단어 \1. 표본이 작아 조건 간 정확도 차이는 판단 불가. \1 라벨 물체가 꽃병처럼 안 보이는 문제 새로 확인

rr-bench v2에서 판단이 필요한 것: 이름이 애매한 가구 6종(캡처 포함)과 경계에 걸린 Restore 질의 8개

rr-bench v2: 정답 라벨·가구 이름·쿼리 프레임·실행 하네스 수정 완료. 테스트 \1, v1 동일성 유지. 실제 모델·시뮬레이터 재실행은 아직

공개용 \1 추출: 연구 repo에서 하네스를 3 commit(291→55→485 files)으로 옮겨 \1 58 py 모듈·docs 4종·GT cell 목록·MolmoBot 패치로 정리, 논문↔코드 대응표 작성

R&R-Bench 문제별 증거와 수정 계획: 실제 예시의 캡처·클립·모델 원문으로 오류를 직접 확인하고, 문제마다 어떻게 고칠지 정리

공개용 \1 감사: QA 4패밀리 실런은 크래시 없음. 하네스 버그 3건(Multi grounding, Routine 쿼리 프레임, naming rescue 거실), 어휘 불일치(Finding 76/722·Restore 111/575 질의 단어 거부), 익명성·비공개 자산 문제 확인