중간 런(260907-online_mid_find500.html)에서 SR@예산이 blind(.20)와는 확실히 갈리지만 메모리 전략끼리는(rf-v3 .37 ≈ textlog .37 ≥ vis .32) 거의 안 갈렸다. 첫 행동 적중(t=0 순수 기억)에서는 target/distractor로 나누면 분명히 갈리는데(§7, 기존 카드), 실행까지 이어진 SR에서는 왜 다시 뭉개지는지 — 새 실행 없이 기존 500행 데이터를 다른 각도로 쪼개 답했다.
| 전략 | 도달(any) | SR|도달 | SR | pick 질의 lift/시도 |
|---|---|---|---|---|
| blind | 0.47 | 0.43 | 0.20 | 23/145 |
| textlog | 0.75 | 0.49 | 0.37 | 39/216 |
| rollforward-v3 | 0.70 | 0.53 | 0.37 | 37/146 |
| rollforward-vis-pure | 0.67 | 0.48 | 0.32 | 35/216 |
두 번째 인자(SR|도달)가 전략과 무관하게 0.43–0.53으로 상수다 — pick을 성공시키는 건 기억이 아니라 VLA. 기억이 벌어놓은 도달률 차(최대 0.08)에 ~0.5가 곱해져 SR 차는 절반(0.04)으로 준다.
| 비교 | 필요 n/전략 (80% 검정력) | 본 런(n=589)에서 가능? |
|---|---|---|
| SR 0.37 vs 0.33 | 2,229 | ✗ |
| 도달률 0.75 vs 0.67 | 502 | △ (겨우) |
| 첫행동적중 전체 0.58 vs 0.54 | 2,414 | ✗ |
| 첫행동적중 target 0.80 vs 0.56 | 56 | ✓ (294) |
| 첫행동적중 distractor 0.62 vs 0.40 | 78 | ✓ (295) |
| 메모리 vs blind SR 0.37 vs 0.20 | 107 | ✓ (이미 유의) |
선택 효과(추가 발견): 도달 시점이 늦을수록 전환율(도달→성공)이 급락한다 — 첫 행동에 도달(n=192) 전환율 0.54, 3번째 이후 도달(n=45) 전환율 0.27(예산 45% 소진, 사용 스텝 1257/1575). 도달률이 높은 전략일수록 그 증가분이 "늦은 도달"이라 SR로 잘 안 바뀐다 — textlog는 rf-v3보다 5건 더 도달하지만 전환율이 낮아 SR이 정확히 같아진다(둘 다 .37). blind는 첫 행동 적중이 애초에 −0.26 벌어져 있어 이 압축을 다 거쳐도 SR .20으로 살아남는다.
읽기 답변 프롬프트에는 "기록으로 답을 알 수 없으면 abstain: true"가 있고 기권은 0점이다. 온라인은 기권이 없다(abort는 에피소드 종료=확정 실패로 처리돼 지배당함).
| 전략 | 커버리지(비기권률) | 정확도(비기권 중 정답) | = 읽기 점수 | 온라인(비기권 구간) | 온라인 전체 |
|---|---|---|---|---|---|
| blind | 0.55 | 0.45 | 0.25 | 0.33 | 0.28 |
| textlog | 0.61 | 0.72 | 0.44 | 0.74 | 0.58 |
| rollforward-v3 | 0.65 | 0.71 | 0.46 | 0.69 | 0.56 |
| frames-uniform | 0.96 | 0.55 | 0.53 | 0.53 | 0.54 |
| rollforward-vis-pure | 0.99 | 0.62 | 0.61 | 0.55 | 0.54 |
읽기 점수 = 커버리지 × 정확도가 정확히 성립한다. 텍스트 메모리는 좁고 정확하고(0.61–0.65 × 0.71–0.72), 이미지 메모리는 넓고 부정확하다(0.96–0.99 × 0.55–0.62). 읽기 점수 차(0.44 vs 0.61)의 대부분은 "아느냐"가 아니라 "기록이 없을 때 기권하느냐"에서 나온다. 온라인은 기권 대신 사전지식·탐색으로 찍어 회수하는데, 회수할 구간이 큰 텍스트 전략만 크게 올라(textlog +0.14, rf-v3 +0.10) 이미지 전략(frames +0.01, vis −0.07)과 격차가 사라진다.
| 부분집합 | 메모리 4전략 폭 | 순위 |
|---|---|---|
| 전체 100질의, 읽기 | 0.17 (0.44–0.61) | vis > frames > rf-v3 > textlog |
| 전체 100질의, 온라인 | 0.04 (0.54–0.58) | 무순위 |
| 읽기 비기권 질의만, 읽기 | 0.17 (0.55–0.72) | textlog > rf-v3 > vis > frames |
| 읽기 비기권 질의만, 온라인 | 0.21 (0.53–0.74) | textlog > rf-v3 > vis > frames |
온라인 실행 지표(SR)로는 기억 전략 간 순위를 낼 수 없다 — 이 VLA 품질(도달 후 성공 ≈0.5)에서는 표본을 4배 늘려도 검출력이 안 나온다. SR은 "기억 유무"(blind 대비)와 파이프라인 종단 성능을 보이는 지표로만 쓴다. 전략 간 순위는 first_action_hit를 kind별(target/distractor)로 보고해야 하고, 본 런 규모(target 294·distractor 295)에서 충분히 갈린다. 읽기 표의 "이미지 메모리 우위"도 상당 부분 커버리지 우위(찍어서라도 답함)이지 정확도 우위가 아니라는 점이 이번에 분리됐다 — 논문 표에 커버리지·정확도를 별도 축으로 병기할 근거가 생겼다.
온라인 본표 제안 3가지 중 미결정: (a) 첫 행동 적중을 읽기 비기권 질의로 조건화한 값(=실행 정확도, 기존 데이터로 무료 산출) (b) 전체 값(강제 추측 포함) 병기 (c) 기권률(커버리지)을 읽기 표 1급 지표로. 사용자 결정 필요.
프로토콜 대안(비용 발생): 읽기를 강제 추측으로 재측정하거나 온라인에 기권을 허용하는 방안 — 미실행, 승인 필요. 논문 표 설계: 주 표 = kind × 전략의 첫행동적중, 보조 표 = 도달률·SR@예산·open_pick 분리·blind 대비 이득.