loc_set(방만)으로는 1점 처리됐다 — 그런 칸은 실행 결과 전부 실패(0/7).place_set으로 교체.계획형 온라인 본 런(B안)의 실행 셀을 "읽기 답이 정답인 칸"으로 좁히던 중, 첫 restore 샘플 행에서 결함이 드러났다. GT는 mug을 침대 → 식탁(5.47m)으로 옮기는 것인데, 읽기 답이 낸 계획은 "지금 침실 책상에 있다; 침실 책상으로 되돌려라"였다. 두 지점이 같은 방(bedroom)이라 now_loc_set·orig_loc_set 모두 1이 되어 "정답 계획"으로 분류됐지만, 로봇은 2턴 만에 done을 선언하고 실패했다.
이 결함이 온라인 셀 선별뿐 아니라 오프라인 읽기 본표의 헤드라인 지표 자체(모델 순위 결정, 게이트 통과 여부)에도 있는지 확인이 필요했다.
scripts/rescore_room_names.py 신규 — 8모델 × 2가족(find/restore) 전량을 scene card 기준 방 이름으로 재채점했다. 영향 없는 행은 저장 점수를 100% 재현함을 assert로 검증(실패 0). 옛 이벤트 조인 방식은 이름이 없어 채점에서 통째로 빠지던 답이 모델당 18~40행 있었다 — 그만큼 gradable이 .9949/.9896 → ≈1.000으로 회복됐다.
tmp/hf_check/grid_v1final.py(백업 .bak_locmetric) 수정: 순위 기준을 loc_set에서 place_set으로, G1 게이트 임계를 blind ≤ 0.287(방)에서 blind ≤ 0.251(방+가구)로, 표 칸 순서를 loc/place에서 place/loc으로 바꿨다. 0.251은 새로 계산한 값이 아니라 claude/260826/exp-v1final_find_eval.md에 이미 "loc chance ≈ 0.287, place chance ≤ 0.251"로 계산돼 있던 값이며, 독립 재계산(.260)과도 일치한다.
find loc .5104→.5208 · place .3688→.3762, restore orig_loc .4195→.4279 · orig_place .4422→.4456 — 모델이 맞았는데 GT 방 이름이 틀려 깎이던 답이 복구된 것이다.
집마다 방이 3~4개뿐이라 방만 맞으면 되는 지표에서는 blind(무기억)도 찍어서 맞을 확률이 높다.
| 모델 | blind 방 기준 | blind 방+가구 |
|---|---|---|
| cosmos-r2-8b | .392 (2위) | .135 (3위) |
| qwen3vl-32b | .295 (G1 FAIL) | .127 |
| molmo2-8b | .325 (3위) | .152 |
| qwen3vl-8b | .279 (3위) | .129 |
방 기준 임계(.287)에서는 qwen3vl-32b(find blind .295)가 FAIL이었는데, 방+가구 기준 임계(.251)로 재평가하니 FAIL 3건이 전부 소멸했다. find 순위는 3모델, restore는 5모델에서 바뀌었지만 전부 근소차(≤.008) 구간이다.
| 표 | 변화 |
|---|---|
| find molmo2-8b | frames .365 = vis .365(동률) → vis .373 > frames .367 (1위 교체) |
| find luna | tagmem .378 > rf-v3 .376 → rf-v3 .384 > tagmem .380 (3·4위 교체) |
| restore sonnet-5 | frames .127 > rf-v3 .127 > vis .125 → vis .131 > rf-v3 .129 > frames .126 (3파전 1위 교체) |
| 가족 | 1위 | 2위 | 3위 | 4위 |
|---|---|---|---|---|
| find | tagmem .517 | vis .506 | frames .422 | rf-v3 .369 (blind .156) |
| restore | tagmem .173 | vis .158 | rf-v3 .106 | frames .096 |
방 개수가 3~4개뿐인 집 구조에서는 loc_set만으로 blind(무기억)도 절반 가까이 우연히 맞아 순위와 게이트 통과 여부가 왜곡된다. 온라인 실행 검증(방만 맞은 계획이 100% 실패)이 오프라인 지표 전체의 타당성 문제를 드러낸 사례로, 온라인·오프라인 두 트랙이 서로의 결함을 검증해준 구조다. 다만 이 변경으로 헤드라인 순서 자체(비오라클 1위 = flash tagmem)는 바뀌지 않았다 — 근소차 구간 내 재배치에 그친다.
이 변경은 아직 Overleaf 논문에는 반영되지 않았다 — 같은 세션의 논문 감사(analysis-overleaf_table_sync.md, 260916)에서 확인했듯 현재 원고는 여전히 loc_set을 헤드라인으로 명시하고 있다. place_set 전환을 논문 본문·표·게이트 서술에 반영해야 한다.
cosmos-r2-8b의 "blind가 우리 방법보다 낫다" 현상은 별도 각주·원인 조사 대상. restore가 flash에서만 변별되는 문제는 8B/luna급 모델의 쓰기 커버리지 한계와 연결지어 볼 것(tagmem_write_coverage_binding 카드 참조).