D1(내가 옮긴 것)과 D2(보기만 한 것)의 순위가 뒤집히는 현상(260908 그리드셀 리포트)을 두고, 사용자가 근본 질문을 던졌다: "textlog는 D2를 어떻게 맞추지? 로그에 없을 텐데." 앞서 성공 사례 2건("Pick up the fork" 등)만 보고 "D2는 정준 배치 상식으로 맞히는 것"이라고 중간 서술했는데, 표본 2건으로 일반화한 것이라 전수로 재검증이 필요했다.
52개 D2 질의 전량에 대해 (1) textlog 로그 원문에 GT 카테고리/방·가구 쌍이 등장하는지, (2) blind(상식만 쓰는 기준선)의 첫 navigate 적중 여부를 집계해 "상식 예측가능/불가"로 분류, (3) 예측가능·불가 각각에서 4가지 메모리 전략의 최종 SR과 blind 대비 McNemar 검정, (4) 첫 행동 적중률(전략별 "첫 수로 맞히는가")을 비교했다.
| 셀 | n | 로그가 GT 카테고리 언급 | 로그가 GT (가구·방) 쌍 언급 |
|---|---|---|---|
| D1 | 31 | 31/31 (100%) | 29/31 |
| D2 | 52 | 2/52 (4%) | 51/52 |
원문 예(train_3912__0 "Pick up the fork", GT 부엌/식탁): 로그에 포크는 한 줄도 없고 VLM은 "It is likely in the kitchen, so I will navigate to the kitchen countertop first."라고 추측한다. GT (방,가구) 쌍 자체는 로그가 거의 다 언급하지만(51/52), 그건 "그 방에 뭔가 있다"는 배경 서술이지 정답 물체 지목이 아니다.
| D1 | D2 | D3 | S1 | S2 | |
|---|---|---|---|---|---|
| blind 첫 navigate 적중 | 1/31 = .03 | 15/52 = .29 | 1/8 = .12 | 4/26 = .15 | 9/17 = .53 |
| 전략 | 예측가능 15질의 SR | 예측불가 37질의 SR | 예측불가 첫 행동 적중 | blind 대비 p |
|---|---|---|---|---|
| blind | 0.60 | 0.11 (4/37) | 0/37 | — |
| textlog | 0.73 | 0.32 | 0.16 | 0.021 |
| frames-uniform | 0.47 | 0.30 | 0.41 | 0.016 |
| rollforward-v3 | 0.67 | 0.38 | 0.43 | 0.002 |
| rollforward-vis-pure | 0.53 | 0.38 | 0.43 | 0.002 |
blind는 예측불가 37질의에서 첫 행동 적중 0/37이다 — 상식이 완전히 무력한 구간에서만 순수하게 메모리 효과를 잰 결과다.
예측 불가 D2에서 첫 행동 적중은 이미지 전략 .41~.43 vs textlog .16인데, 최종 SR은 textlog .32로 따라붙는다. 이미지 전략은 첫 수로 맞히고, textlog는 탐색해서 도달한다 — 로그가 "내가 어느 방의 어느 가구를 썼는지"를 주므로 탐색 범위가 좁아진다. 260908의 타깃/디스트랙터 순위 뒤집힘의 실체가 이것이다: D1은 로그에 답이 있어 첫 행동부터 이기고(.81), D2는 로그에 없어 첫 수를 이미지 전략에 내주고 탐색으로 만회한다.
D2는 의도대로 여전히 기억을 재는 질문이다 — 다만 로그가 답을 직접 주지 않아도 "탐색 범위를 좁힌다"는 간접 경로로 이긴다는 점이 D1과 다르다. 집계 수치만(D2: blind .25 vs textlog .44) 보면 격차가 애매해 보였던 이유는 "상식으로 되는 29%"와 "안 되는 71%"가 섞여 집계됐기 때문 — 조건을 나눠보니 예측불가 구간에서는 네 전략 모두 뚜렷하게, 유의하게 이긴다. 철회: "D2는 집 구조 기억 + 상식을 재고 있다 / 데이터셋 설계 재고 필요"는 성공 사례 2건의 과잉 일반화였다. 데이터셋 쪽 조치는 불필요하며, 논문 서술에서 D1/D2 뒤집힘은 "로그의 답 유무 → 첫 수 적중 vs 탐색"의 메커니즘으로 설명해야 한다.
예측가능/불가 분류 기준이 "blind 첫 navigate 적중" 하나뿐이라, 이후 예측가능 15질의의 최종 SR 격차(예: rf-v3 .67 vs blind .60)가 여전히 통계적으로 유의한지는 별도 검정이 필요하다(n=15로 작음).
논문 §4·Takeaway에 이 메커니즘(첫 수 적중 vs 탐색 경로)을 명시하고, D1/D2 순위 뒤집힘 그래프에 "예측가능/불가" 구분을 함께 표기하는 안을 검토한다.