pytest가 17개 모듈에서 수집 실패한다.rr-bench는 연구 repo scene_bench에서 추출한 공개용 하네스다. 공개 전에 오류뿐 아니라 외부 사용자·리뷰어가 문제 삼을 만한 것을 전부 찾는다.
| 실행 | 결과 |
|---|---|
README 설치 후 pytest tests -q | 17개 모듈 ImportError (openpi_client, networkx, mujoco, molmo_spaces, msgpack_numpy) |
pytest tests/qa | 142 passed, 59 skipped |
| tests/agent + tests/execution (conda mlspaces) | 824 passed, 6 skipped |
| Routine 어댑터 재빌드 | 논문 root와 바이트 동일 (314행) |
| 실런 Finding / Restore / Resume / Routine | 121 / 120 / 33 / 66 calls, $0.90 / $0.99 / $0.63 / $0.50, 크래시 없음 |
| README prompt-parity 명령 | exit 1 (288 mismatch), --oracle-axes를 붙이면 384개 일치 |
| 항목 | 사실 |
|---|---|
| QA 카메라 | Finding/Restore/Routine은 exo_camera_1 한 대(640×480). wrist 미사용, exo_camera_2는 전혀 안 쓰임. Resume만 exo 320×240 + wrist 160×120 inset |
| 샘플링 | linspace(f0,f1,4) → 0/250/499/749, 다음 윈도우 750. 실질 10초 간격, 30초당 3시점. Resume만 1 fps |
| 이벤트 커버리지 | Pick 세그먼트의 52.6%가 프레임 1장뿐, nav의 10.3%는 0장. 접촉 순간 ±1초 포착 약 20% |
| Routine pass-by 증거 | 증거 물체 120개 중 14개(12%)가 샘플 프레임 0장, observed 규칙 40개 중 2개는 증거 프레임 없음 |
| 실행 트랙 제어기 | 턴당 최대 4장, exo‖wrist 640×180. Uniform Frames 온라인 메모리에는 wrist 없음 |
| 항목 | 수치 |
|---|---|
| 질의 단어를 파서가 거부 (potato, kettle, pan, spray bottle, soap bottle, paper towel roll, cloth) | Finding 76/722, Restore 111/575 |
| "tv stand" GT가 실제 SideTable | Finding 49/101 spot, Restore 67/143 spot; 부엌·욕실의 tv stand 15건 |
| Finding/Restore에서 "side table"은 parse error, GT Action Log는 "side table"이라 씀 | 실런 restore:train_1299__2:q00,q06에서 로그 reader가 desk/coffee table로 답해 오답 |
| Routine 발화 "shelving unit" vs 채점 "shelf" | 발화 41개, 28/314 질의 |
| 같은 방에 혼동 가능한 가구 쌍 | Finding 209/722, Restore 258/575, Routine 173/314 |
| 모든 테이블이 "dining table" | DiningTable 557 / Desk 65 / CoffeeTable 7 |
| 룩얼라이크 물체가 둘 다 질의 대상 | Finding cup/mug 8 ctx·22 질의, pen/pencil 2·7; 실런에서 pencil 질의에 4개 방법이 pen 위치로 답 |
| QA와 실행 트랙의 물체명 불일치 | 14개 카테고리 |
| 오탈자 | Resume pending 명령 35/161에 "potatos" |
episode_loader.py:120이 steps_emitted를 쓰므로 100개 컨텍스트 전부에서 current view가 녹화 끝보다 중앙 25.9초 앞이다. leak 검사는 다른 구간을 본다(플래그 4행 vs 실제 프레임에 증거가 보이는 37/314행).naming_rescue.py:132가 "livingroom"과 "living room"을 비교해 거실 구제가 전부 꺼진다(Finding 30/51, Restore 49/73 해당).| 층 | 행 수 | SR | instance 모드 비율 |
|---|---|---|---|
| Finding single | 540 | 0.502 | 0.840 |
| Finding multi 같은 카테고리 | 144 | 0.326 | 0.717 |
| Finding multi cross-category | 216 | 0.028 | 0.000 |
| Restore multi cross-category | 417 | 0.017 | 0.000 |
| Routine multi | 245 | 0.000 | 0.000 |
online_planner.py:704-706이 VLM의 category 대신 "ladle+pencil" 같은 결합 문자열로 grounding한다(코드 직접 확인, 수치는 논문 본 런 보관 행).
| 항목 | 내용 |
|---|---|
| 익명성 | 커밋 author keh0t0 + 학교 메일, HF 계정 Keh0t0가 3개 파일에 노출, 히스토리에 한국어 주석 |
| 비공개 필수 자산 | scene card, dataset generator, 정책 체크포인트 2종, 파인튜닝 데이터, 테스트 fixture |
| 문서 불일치 | --family finding invalid, --cost-cap은 게이트웨이 전용 필드 의존, env.sh의 2개 변수는 아무도 안 읽음 |
| 라이선스 | LICENSE 없음, MolmoBot(Apache-2.0) 수정본에 NOTICE 없음 |
실런 4개(126행)의 writer 메모리와 reader reasoning을 읽고 프레임 5장을 직접 봤다.
| 주장 | 내용에서 본 것 |
|---|---|
| "tv stand" GT | 프레임상 흰색 2단 서랍장. Restore q00에서 non-blind 5개 방법 전부 original을 dresser(3)/desk(2)로 답해 오답. MEM^R는 내용상 정답인데 이름 때문에 0점 |
| Routine "side table" | 프레임상 서랍 달린 책상 + 선반. 시각 방법 3개가 "desk in the bedroom" |
| 방 이름 | 침대가 있는 "living room"을 bedroom으로 기록. Resume에서 remaining 오답의 원인 |
| pen/pencil, remote/cell phone | 메모리에 pencil이 "pen", remote control이 "cell phone"으로 기록됨 |
| place 이벤트 | 약 9건 중 2건이 "원래 자리에 다시 놓음"으로 잘못 기록 |
| 현재 시야 | No Memory가 쿼리 프레임에 보이는 pen을 보고 pencil 질의에 답함 |
find:train_1299__2:q05 vase는 z=0.094 m로 바닥에 있는데 GT는 dresser. MEM^R의 정확한 "floor" 답이 오답 처리. 같은 조건은 1014개 답 중 이 1건.논문 본 런 보관본으로 7개 영역을 전수 검사했다. 통합 목록은 claude/261007/ledger/00_MASTER.md.
| 발견 | 수치 |
|---|---|
| GT 위치 오류(실패 이벤트의 계획 목적지가 정답) | Finding 35 질의, Restore 9 질의 |
| Routine 현재 시야 누출 | 158/314 (첫 감사 37은 오류) |
| Resume 방 방문 정답 다툼 | 46/62 질의 |
stand_ 가구가 tv stand가 아님 | 34/41종, writer가 tv stand로 부른 것 0/84 |
| Finding 1위 | 일관 채점 시 GT Action Log 337/720 > R&R 335/720 (논문 334 vs 333 /717) |
| Routine 방 무시 채점 | MEM^R .800 > R&R .787 (본표 .542 / .606) |
| 실행: pick 성공률 | anchor 자세 3.0% vs instance 30.0% |
| 실행: Finding 방법 간 차이 | 최대 9셀 < 재실행 뒤집힘 25셀 |
추출 자체는 깨끗하다. 문제는 세 갈래다: 공개 즉시 드러나는 재현 불가·익명성, 리뷰어가 공격할 설계 지점(관측 밀도, 단일 카메라, 어휘, 저자 방법 편향), 논문 수치에 영향을 줬을 수 있는 하네스 버그 3건.
어휘 문제는 실런 컨텍스트 3개에서 모두 재현됐다. 일부 오답은 기억 실패가 아니라 이름 불일치다.
버그 3건이 논문 수치를 얼마나 바꾸는지는 측정하지 못했다(실제 results.json 재집계와 재실행 필요). 실행 트랙 에피소드는 돌리지 않았다.
익명 히스토리·데이터셋 미러, scene card 배포, 사후 채점 CLI, README 명령 수정. 어휘 alias와 버그 수정은 논문 수치를 바꾸므로 반영 범위를 먼저 결정.