score_restore, now_/orig_ 두 면 모두 다중집합 일치). find 태스크의 메모리 재사용(ingest 0콜)으로 API 비용 절감기존 "find" 태스크(4모델→7모델 격자, 오픈소스 확장 카드 참조)는 "물체가 지금 어디 있나"만 묻는다. 이 구조에서는 사전확률(prior)만으로도 답을 맞힐 여지가 있고, 실제로 8B 오픈소스 모델(cosmos-r2-8b, molmo2-8b)에서 G1(blind ≤ chance)이 모델 종속적으로 깨졌다 — 프레임 누출이 아니라 "낮은 기권율 + 방 사전확률 추측"이 원인으로 진단됐다(해당 카드 발견 참조).
이를 구조적으로 해소하고 "진짜 에피소드 기억"을 더 엄격히 검증하기 위해, 물체의 현재 위치와 원래(최초 목격) 위치 양쪽을 모두 맞혀야 정답으로 인정하는 restore 태스크를 신설했다. 한쪽만 사전확률로 찍어서는 두 조건을 동시에 만족하기 어려워, G1 통과 여부가 모델의 실제 메모리 능력을 더 정확히 반영할 것으로 기대했다.
데이터 버전 bcaf2815로 restore 질의를 신규 생성 — 최초 322행(hidden 포함) → find 태스크에서 이미 결정된 "본표는 hidden 제외" 원칙(hidden 제외 결정 카드)을 동일 적용해 266행(hidden 제외)을 최종 본표로 확정. 채점은 score_restore — now(현위치)·original(원위치) 두 면을 각각 다중집합 일치로 채점하고 둘 다 맞아야 loc/place=1(now_/orig_ 필드 별도 보관). hidden 판정 규칙(어느 면이든 hidden+fixture → fixture 엄격 매칭)은 find 태스크와 동일 적용.
메모리는 find 캠페인에서 이미 만든 것을 재사용(ingest 0콜, --memory-from/--tagmem-graph)해 질의만 다시 실행 — 별도 메모리 재구축 없이 평가 비용만 소모. 하네스 변경: 커밋 251ace1로 중첩 from/to(현재/원래 위치) 스키마를 채점 파이프라인에 적합화.
| 전략 | flash-3.6 | flash-3.7 | sonnet-5 | luna | qwen3vl-8b | cosmos-r2-8b | molmo2-8b |
|---|---|---|---|---|---|---|---|
| blind | 0.130/0.027 | 0.053/0.019 | 0.019/0.000 | 0.038/0.004 | 0.042/0.011 | 0.103/0.019 | 0.057/0.004 |
| textlog (오라클) | 0.943/0.798 | 0.939/0.794 | 0.924/0.794 | 0.916/0.775 | 0.397/0.309 | 0.359/0.298 | 0.603/0.527 |
| frames-uniform | 0.317/0.137 | 0.317/0.149 | 0.149/0.027 | 0.218/0.065 | 0.103/0.031 | 0.126/0.023 | 0.103/0.011 |
| rf-v2 (naive) | 0.324/0.160 | 0.466/0.237 | 0.221/0.069 | 0.179/0.046 | 0.057/0.019 | 0.099/0.011 | 0.069/0.015 |
| rf-v3 (MEM-style) | 0.237/0.107 | 0.252/0.099 | 0.195/0.038 | 0.164/0.031 | 0.053/0.004 | 0.092/0.019 | 0.046/0.011 |
| vis-pure (MemER-style) | 0.420/0.183 | 0.420/0.198 | 0.168/0.053 | 0.187/0.050 | 0.107/0.027 | 0.107/0.027 | 0.088/0.011 |
| tagmem-r3 (ours) | 0.393/0.172 | 0.450/0.240 | 0.164/0.061 | 0.191/0.057 | 0.050/0.011 | 0.046/0.019 | 0.046/0.000 |
restore 태스크는 두 가지 역할을 한다. 첫째, find 태스크의 G1 약점(모델 종속적 사전확률 추측)을 구조적으로 해소하는 더 엄격한 검증 축을 논문에 추가한다 — 7/7 통과는 벤치마크 설계의 견고성을 보여주는 근거가 된다. 둘째, "매체 선호가 뒤집힌다"는 발견은 find 태스크에서 얻은 "이미지 메모리가 우위(3/4 모델)"라는 결론(모델 grid 카드)이 태스크 종속적임을 보여준다 — 논문의 일반화 주장을 "찾기 과제에서는 이미지, 복원 과제에서는 텍스트"처럼 태스크별로 조건화해야 한다. 다만 tagmem(우리 방법)이 restore에서 1위를 못 하고 2위에 머문 것은 "ours가 항상 최고"라는 서사에 조정이 필요함을 뜻한다.
restore 본표에서 hidden 제외 여부가 find 태스크의 결정과 완전히 일관되게 적용됐는지 "확인 필요"로 남아 있음(hidden 규칙 자체는 동일 적용했으나 최종 검토 미완). cosmos 모델의 오류행 비율(양면 진단 기준 37%)이 왜 높은지 원인 미분석.
hidden 제외 최종 확인 후 restore 표를 §5 본문에 find 표와 나란히 배치. §6 Analysis에 "매체 선호는 태스크 종속" 문단 추가 — find의 발견 #2(기록 매체 선호가 모델 종속)를 "모델×태스크 종속"으로 재서술할지 검토. tagmem이 restore에서 1위를 놓친 원인(재작성 시 원위치 정보 손실 가능성)을 최근성 편향 분석 카드와 같은 방식으로 프레임별 분석해 후속 실험으로 제안.