← 목록
2026-09-23 · scene_bench · flash · resume single 100행 · $0

resume 접지 감사 — 증거를 보고 맞히는가, 찍는가

보관/검색 프레임의 증거 × reasoning 인용 × 정답을 행 단위로 붙였다

TL;DR

.45
정답률 | 증거O
.29
정답률 | 증거X
7%
찍어서 맞힘
10/22
방문 과대

1 증거 유무 × 정답

증거O·정답증거O·오답증거X·정답증거X·오답정답률|증거O정답률|증거X
vis-pure3442717.45.29
tagmem3640618.47.25

증거 = 완료 단위 구간(subtasks)에 프레임이 있거나(누름·방문), 마지막 완료 이후 프레임이 있음(옮기기·담기). reasoning 이 t= 를 인용하는 행 58/100.

2 옮기기·담기 — 차이 계산이 아니라 개수 읽기

증거 조합n정답단위마다 프레임reasoning 개수 언급
초기+최종41 (.25)3/44
최종만2110 (.48)18/2120
초기만94 (.44)7/99
둘 다 X105 (.50)10/109
아래 train_2773:cut_05: m6 t=191 s 손목 인셋에 바구니 속 감자 2개가 보이고 reasoning 이 정확히 그 시각을 인용한다 — 진짜 증거 기반.

3 방문 — 프레임은 "본 방"이지 "들어간 방"이 아니다

방문 방 커버리지n정답과대과소"다 끝났다"
전부 프레임 있음228 (.36)1004
일부64 (.67)020
없음30120
train_308:cut_06: 방문 3방의 프레임이 다 있는데 "침실로 이동" 단위의 m2 프레임에 거실(빨간 소파) 이 지나가며 찍혔고, 모델은 "all four rooms" → 과대.

4 사례 — 보관 프레임 시트 + reasoning

증거O·정답·t=인용 (담기 2/4) — resume:train_2773__2000:cut_05 · resume_ok=1 · 보관 8장

reasoning → The user originally asked to move four potatoes from the dresser to the basket. By t=191.4s, 2 potatoes had been placed into the basket before being interrupted to check the dining table in the living room (which was completed). Therefore, 2 potatoes remain to be moved. 답 → [{"task": "Pick up four of the potatos from the dresser and place them into the basket.", "remaining": 2}]

증거X(프레임 0장)·정답 = 찍음 (누름) — resume:train_5730__2000:cut_00 · resume_ok=1 · 보관 0장

보관 프레임 0장
reasoning → The command required pressing the microwave button 4 times. The memory shows 1 button press completed before the interruption, leaving 3 presses remaining. 답 → [{"task": "Press the button on the microwave four times.", "remaining": 3}]

증거O·오답 (방문 3/4 프레임 다 있는데 '4방 다 갔다') — resume:train_308__2000:cut_06 · resume_ok=0 · 보관 8장

reasoning → The robot successfully navigated to all four rooms in the house (kitchen, living room, bedroom, and bathroom) across the navigation period. The interruption to check the salt shaker was completed at t=84.8s, and the final interruption to open a drawer of the dresser in the bedroom was completed as shown in the final frame where the top drawer is open. All tasks are complete. 답 → []

증거X·정답 (방문, 단위내 1장뿐) — resume:train_8423__2000:cut_10 · resume_ok=1 · 보관 8장

reasoning → The robot completed the apple transferring task (5 apples were placed on the dining table by t=553.4s) and opened the dresser drawer. When instructed to navigate to every room (4 rooms: bathroom, bedroom, kitchen, living room), the robot started in the bedroom and reached the kitchen before being interrupted to inspect the kitchen countertop. Thus, 2 rooms (bathroom and living room) remain to be visited. 답 → [{"task": "Navigate to every room in the house.", "remaining": 2}]

5 Takeaway

증거 기반 추론은 실재한다 — 손목 인셋이 개수를 직접 보여주는 것이 새 조건 이득의 실체.
남은 병목은 메모리가 아니라 지각 — 증거가 있어도 .45. 작은 인셋의 개수 오독, 지나간 방을 방문으로 셈.
찍음 7% 가 섞여 있고 없는 증거를 인용하기도 한다 — 점수 해석에 반영.
로그 claude/260923/analysis-resume_grounding_audit.md · 스크립트 tmp/rfv3append/grounding_audit.py