04006a6 9곳 수정). 수정 재측정 헤드라인: 32B 22.3(첫 런 24.4) · Gemma4 32.0(33.0) · Qwen3.8 30.0(30.5).오픈 모델(32B·Gemma4·Qwen3.8)이 writer·reader 를 스스로 다 맡으면 tagmem 이 vis-pure 에 진다. 사용자(260919): "정보가 많은데 지는 게 말이 안 된다. 우리가 프롬프트나 세팅을 뭔가 성능이 전반적으로 안 나오게 했을 수도 있다." — tagmem 리더는 항목 ~22개 + 사진 ~15장을 받는데 vis-pure 는 8장이다. 하네스 공정성은 이 프로젝트 소관이라 원인을 행 단위로 갈랐다.
| 모델 | 상태 | n | blind | vis-pure | tagmem | tag−blind | tagmem 기권율 |
|---|---|---|---|---|---|---|---|
| Gemma4 | 정상 | 150 | .320 | .533 | .700 | +.380 | |
| Gemma4 | 미기록 | 181 | .204 | .354 | .144 | −.061 | 62% (blind 6%) |
| Qwen3.8 | 미기록 | 181 | .166 | .298 | .110 | −.055 | |
| 32B | 정상 | 142 | .197 | .373 | .528 | +.331 | |
| 32B | 미기록 | 172 | .163 | .209 | .076 | −.087 | 74% (blind 31%) |
| flash | 미기록 | 56 | .125 | .482 | .339 | +.214 | 46% |
기록이 맞을 때 tagmem 은 모든 모델에서 압도적 1위(vis-pure 대비 +.16~+.24)인데, 항목에 물체가 아예 없으면 오픈 3모델만 blind 아래로 떨어진다. Gemma4 는 blind 로 물으면 6% 만 기권하고 .204 를 맞히는데 tagmem 으로 물으면 62% 기권하고 .144 — 모델이 답할 수 있는 것을 안내문이 막고 있다. 공통 답 계약("메모리로 판정 못 하면 abstain")은 전 전략 동일하지만 vis-pure 헤더는 "내가 기억으로 남긴 프레임들" 한 줄뿐이고, tagmem 안내문만 모든 서술을 "my entries / my index" 로 틀 지었다.
| 진단 | v8 | v13(버그) | v13(수정) |
|---|---|---|---|
| ledger 줄 | 9 | 0 | 7.9 |
| bundle_extra | 5 | 0 | 15.1 |
| n_fill | 3 | 0 | 0.8 |
| 모델 | tagmem v8 | tagmem v13(첫 런·버그) | tagmem v13(수정) | vis-pure | vis-pure +문장 |
|---|---|---|---|---|---|
| qwen3vl-32B | 19.0 | 24.4 | 22.3 | 21.4 | 27.7 |
| Gemma4-31B | 26.1 | 33.0 | 32.0 | 33.0 | 34.5 |
| Qwen3.8-27B | 25.3 | 30.5 | 30.0 | 24.8 | 28.7 |
(첫 런 버그 값은 v8 검색 장치가 꺼진 조건이라 세 모델 모두 수정판보다 높다. 수정판 기준 tagmem−vis+문장: 32B −5.4pp · Gemma4 −2.5pp · Qwen3.8 +1.3pp.)
| 모델 | 미기록 +4pp / 정상 ≥−1pp (사전등록) | 판정 | 미기록 행 기권율 v8→v13 |
|---|---|---|---|
| 32B | +5.8 / +2.1 | 채택 | 74 → 66% |
| Gemma4 | +18.8 / −1.3 | 미달(정상 −1.3) | 62 → 0% |
| Qwen3.8 | +16.0 / −0.7 | 채택 | 75 → 20% |
| 모델 | vis-pure 기본 | + 같은 문장 | Δ | p | 미기록 기권율 |
|---|---|---|---|---|---|
| qwen3vl-32B | .214 | .277 | +6.3pp | <.01 | 24% → 5% |
| Gemma4-31B | .330 | .345 | +1.5pp | .42 | 1% → 0% |
| Qwen3.8-27B | .248 | .287 | +3.9pp | .01 | 2% → 1% |
전환 행(v8 기권→v13 응답)에서 새로 맞춘 행 중 답이 blind 와 동일한 비율: 32B 2/10(20%) · Gemma4 14/31(45%) · Qwen3.8 10/34(29%). 나머지(8/17/24행)는 blind 가 틀린 자리를 v13 이 맞혔다.
| 모델 | 정답 자리가 인덱스에 있음 | 없음 |
|---|---|---|
| 32B | 9/15 (60.0%) | 1/4 (25.0%) |
| Gemma4 | 27/79 (34.2%) | 4/34 (11.8%) |
| Qwen3.8 | 29/75 (38.7%) | 5/29 (17.2%) |
| 합산 | 65/169 (38.5%) | 10/67 (14.9%) |
Fisher exact p=.00035 · OR 3.56, 세 모델 방향 동일. 그리고 버그였던 lean 런(검색 장치 꺼짐) vs full: 32B 23.4 vs 21.5 · Gemma4 32.5 vs 31.4 · Qwen3.8 30.1 vs 29.2 — 세 모델 다 lean 이 높지만 3모델 합산 McNemar p=.083 이라 "검색 장치가 오픈 모델엔 잡음"이라는 해석은 근거 부족으로 세우지 않는다.
| 모델 | tagmem v8 | tagmem v13 | vis-pure | vis+문장 |
|---|---|---|---|---|
| 32B | 3.9 | 3.9 | 1.8 | 2.6 |
| Gemma4 | 3.1 | 3.3 | 3.7 | 3.1 |
| Qwen3.8 | 3.3 | 3.9 | 3.7 | 3.9 |
전부 3~4% 잡음 바닥(flash 18.6). 이 가족으로는 오픈 모델 전략을 가를 수 없다.
1) "미기록"은 기억의 부재가 아니라 이름 검색의 실패다. 미기록 행의 47~71%가 비정본 명칭으로 옳은 자리에 적혀 있다는 앞선 확인과 이번 OR 3.56 이 같은 현상의 두 측면이다. 기권 계약이 그 항목들을 읽지 못하게 막고 있었다.
2) 채점이 기권을 오답과 똑같이 0점 처리하는 것이 교란 변수다. 기권율이 그 자체로 점수를 깎아 표가 재는 것이 "기억의 품질"이 아니라 "얼마나 신중한가"가 된다. v8 tagmem 은 미기록 행에서 74/62/75% 기권했고 vis-pure 는 거의 안 했다. 논문 표에 기권율을 병기하거나 (정답/오답/기권) 3분할 보고가 필요하다.
3) 하네스 결함 하나를 찾았지만(기권 계약이 메모리 전략 전체를 눌렀고 모델 강도에 반비례) 사용자 목표("open writer=reader 에서 tagmem 승리")는 달성되지 않았다 — 둘 다 올라 무승부. 본표의 오픈 모델 수치는 전략 무관하게 과소평가돼 있었다.
4) 32B 만은 완화 후에도 미기록 13.4% < blind 16.3% — 인덱스를 주면 오히려 헷갈린다(writer·reader 동시 약점).
① 채택 범위 미정: 계약 완화를 build_system_v3 공통 답 계약에 한 번 넣는 것이 가장 깔끔하다(blind·textlog·frames 포함 전 전략 동일). 지금은 tagmem 안내문·vis 헤더에 각각 들어가 비대칭. ② 채택하면 본표 전체가 바뀌므로 재측정 전에 범위·기준 확정 필요 — flash 4가족 6전략 읽기 전량 ≈$82(ingest 재사용). ③ 채점의 기권 처리 방식(3분할 vs 기권율 병기) 미결.
제출 완료(140103~140108, extra, $0): resume·routine 읽기 v14(=v9+문장) + vis-pure 대조군, 오픈 3모델. 쓰기 재실행 없음(SBENCH_TAGMEM_GRAPH / --memory-from 으로 본표 메모리 재사용) — 이 두 가족이 tagmem 기권율이 가장 높아 효과가 제일 클 자리(현재 open 모델 resume tagmem 꼴찌 3.9~11.1, routine 도 frames/rf-v3 에 밀림). 메모리 재사용 파일 tmp/newopen/mem_{resume,routine}_{gemma4,qwen38}.json 신규. 사용자 보류: flash 계약 완화 재읽기($82).