Index
2026-09-22 — Analysis

채점 감사 3건 — TV stand 명칭 구제, oracle acted 해석, 물체-위치 대응 채점

scene_bench | 사용자 인스펙터 지적 3건 전수 확인 + 본표 보정 적용

TL;DR

158/79/62
R2 구제(find v1.0/v1.2/restore)
21
대응 강등(전 모델·전략 합)
102/1
어휘 부재 명시 행 / 정답
.514→.522
find tagmem(flash)

1 배경 / 목적

사용자가 인스펙터를 보다가 세 가지를 짚었다 — 전부 실재하는 결함이었다.

1. "tv stand 라벨이 이상하다" → 어휘·GT 결함
2. "acted에서 oracle이 틀리는 게 말이 안 된다" → 로그 표현 한계
3. "위치 목록만 보고 물체 대응은 안 보는 것 같다" → 채점 결함

추가로 "rf-v3만 교차를 안 했다"는 지적으로 교차 실험의 공백도 확인했다(별도 카드 rfv3_selfwrite_cross_injection_ab 참조).

2 작업 내용

① tv stand 명칭 결함 → R2 구제 채점

모델 원문에 side table 317회·nightstand 164회 등장. "어휘에 없어 가장 가까운 것으로 매핑한다"고 명시한 행 102개 중 정답 1개.

규칙(scripts/naming_rescue.py): GT가 tv stand인 면 + 방 정답 + (원문에 side table 류 등장 또는 답이 desk/coffee table) → 정답. 올리기 전용.

② oracle이 acted에서 틀리는 이유

로그는 결과 종류(ok/failed/failed_no_place/failed_dropped/failed_not_seen)는 구분하지만 최종 안착 위치를 문장에 안 넣는다. 실패 67건 중 바닥은 16건뿐이고 나머지는 출발지·목적지·인접 가구에 남는데, 모델은 일관되게 "실패→바닥"으로 추론한다. 실제로 바닥인 failed_dropped는 12건 중 11건 정답 — 해석을 뒷받침한다. subtasks.json에 outcome·on_floor·settled_xyz가 이미 있다(편 단위, 정답 참조 불필요)지만 고치려면 재측정이 필요하고 오라클 상한만 움직이므로 기술만 하기로 결정.

③ 물체-위치 대응 미채점 → 대응 보정

scripts/scoring_fixes.py: canon_object 정규화 후 위치 뿐 아니라 대응까지 확인. 내리기 전용.

3 결과

본표 보정 적용 규모

가족R2 구제(↑)대응 강등(↓)
find v1.01585
find v1.27915
restore628
resume·routine00

flash 기준 본표 변화: find tagmem .514→.522·오라클 .476→.485 / restore tagmem .186→.190·오라클 .447→.468. 실측 부풀림(③)은 작다 — 전 모델·전 전략 합 21행, 칸별 최대 −3.7pp, 대부분 0행.

dresser는 기각 유지가 맞다: 씬카드 확인 결과 restore 54/54·find 80/82가 그 방에 진짜 dresser가 있었다(방 안의 실제 가구를 고른 오답) — 260921 카드에서 "R2 구제가 dresser 기각을 우회했다"고 발견했던 130행은 오히려 정상 거절이었음을 재확인.

oracle 오답의 나머지 3%(1/30)는 남는 구조적 노이즈 — 재측정 없이는 완전히 없앨 수 없다.

4 Takeaway

의미

1. oracle(textlog)은 "장면 GT"가 아니라 "로봇 자신의 행동 로그"다. 오답의 83~88%가 D2(남이 옮긴 것)이고 이는 설계상 대조군이다. acted에서 틀리는 건 실질적으로 실패 조작 하나뿐(29/30).

2. 이름 모호성(stand_ 접두사)은 두 트랙에서 서로 다른 증상으로 나타났다 — 온라인 실행에서는 접지 차단(260921 카드, 170/1490칸), 오프라인 채점에서는 답 거절(이번 카드, 102행 중 101 오거절). 같은 근본 원인이 트랙마다 다른 수정을 요구했다.

3. 대응 채점 결함은 실측 영향이 작다(21행) — 우선순위는 낮지만 evaluate-dont-optimize 원칙상 발견 즉시 고치는 것이 맞다.

5 Next Steps

미해결 한계

textlog_lines_v2에 실패 후 최종 위치를 추가하는 것은 미적용 — 재측정이 필요하고 오라클 상한만 이동해 우선순위가 낮다.

다음 실험

보정 되돌리기 옵션 유지: SBENCH_FIX_BINDING=0 SBENCH_R2_TIGHT=0 후 --family 재실행(원값은 각 행 scores.place_set_raw). 온라인 트랙 핸드오프 claude/260921/handoff-online_eval_readtrack_fixes.md에 tv stand 앵커 모호성과 textlog 시드의 같은 결함이 정리돼 있음 — 다음 스냅샷 작업 전 확인.