260822 tagmem(ours) 태그 그래프 멀티모달 메모리의 1차 실측(v1, 36행 × 2모델, n=18~46)에서 두 가지 강한 주장이 나왔다: ① "flash 비오라클 최악-케이스 최강" (find/restore/resume 세 축 중 최저값이 0.36으로 vis-pure의 0.14보다 높음), ② "sonnet은 vis를 역전한다"(find 표면 0.44 vs vis 0.28). 두 주장 모두 260822-tagmem_ours.html에 실렸다.
그런데 260823 하루 동안 진행된 find 개선 라운드(읽기 v2/v3/v4, 쓰기 v2/v3/v4)는 전부 n=18 내외 소표본에서 판정됐고, 캠페인 내부에서도 "±0.06 노이즈 대역"이 반복 관찰됐다(수렴 판정 근거). 소표본에서 나온 두 핵심 주장이 노이즈인지 실제 구조인지는 대표본(759질의 중 S3 353질의, 이미 오라클 채점이 끝난 표본)에서만 검증 가능하다 — 커밋 d6f4499로 이 검증을 실행했다.
find 개선 라운드에서 확정한 기본값(쓰기 v1 + 읽기 v2 + 검색 r3)을 그대로, 표본만 36행 → S3 353질의(75편)로 확대했다. 채점은 방/표면 축을 병기(방 채점 / 표면 채점 두 숫자를 슬래시로 나란히 표시)해 기존 v1 표와 형식을 맞췄다.
추가로 사용자 질문에 답하기 위해 이미지 저장 상한(cap) 16→8 시뮬레이션을 돌렸다. tagmem의 이미지 축출 정책이 최신-유지형이라, 기존 cap16 그래프에서 최신 image 8장만 남기면 재-ingest 없이 cap8 조건을 재현할 수 있다(쓰기 결정 자체가 최근 5개 요약만 참조하므로 시뮬레이션 충실도가 높음). flash S3 353질의, $3.15.
| flash | 전체 | 옮긴 물체 | 본 물체 | 바닥 | multi |
|---|---|---|---|---|---|
| textlog(오라클) | 0.49/0.46 | 0.80/0.75 | 0.17/0.16 | 1.00/0.97 | 0.60/0.51 |
| vis-pure | 0.69/0.59 | 0.61/0.50 | 0.77/0.69 | 0.37/0.33 | 0.34/0.20 |
| frames-uniform | 0.65/0.55 | 0.60/0.46 | 0.70/0.63 | 0.33/0.33 | 0.29/0.09 |
| tagmem-r3 | 0.58/0.48 | 0.57/0.43 | 0.60/0.52 | 0.40/0.40 | 0.29/0.23 |
sonnet: tagmem 종합 0.41/0.33 — vis-pure 0.48/0.38에 뒤짐. 평균 읽기 7.6~8.3 entry(vis는 16 image 고정) 유지. 폴백 발동률 flash 18% / sonnet 26% (v1은 3~6%) — 대표본은 에피소드가 다양해 미저장 물체 질의가 늘어난 결과.
| 주장 | v1 (n=18~46) | S3 (n=353) | 판정 |
|---|---|---|---|
| 최악-케이스 최강 | tagmem min 0.36 > vis 0.14 | 표면 min: tagmem 0.23 vs vis 0.20 (접전) | 과장 — 정정 |
| sonnet에서 vis 역전 | tagmem 0.44 > vis 0.28 | tagmem 0.41 < vis 0.48 (역전 소멸) | 소표본 노이즈로 판명 |
| 읽기 준선형(효율) | 그래프 8→32 시 읽기 5.1→7.6 (24%) | 평균 읽기 7.6~8.3 entry (vs 16 image) | 대표본에서도 유지 |
| 비오라클 균형형(붕괴 축 없음) | 확인 | 확인 — 단, 우위는 바닥층 하나뿐 | 부분 유지 (우위 범위 축소) |
| cap16 | cap8 | Δ | |
|---|---|---|---|
| 전체 | 0.58/0.48 | 0.55/0.45 | -0.03 |
| 옮긴 물체(사건) | 0.57/0.43 | 0.57/0.43 | 0 (무손실) |
| 본 물체(distractor) | 0.60/0.52 | 0.54/0.47 | -0.06 |
| 바닥 | 0.40/0.40 | 0.40/0.37 | ~0 |
| multi | 0.29/0.23 | 0.26/0.20 | -0.03 |
폴백 발동 63 → 91회, 검색 결과가 바뀐 질의 206/353건인데도 전체 하락은 -0.03뿐이다.
tagmem 튜닝 캠페인(260822~23)이 n=18~46 소표본에서 내린 결론 중 최소 2건이 대표본에서 뒤집혔다. 이는 캠페인 자체의 "수렴 판정"(±0.06 노이즈 대역에서 손잡이 튜닝 중단)이 옳았다는 방증이다 — 표본이 작을수록 튜닝 개선처럼 보이는 것이 실은 재-ingest 확률적 노이즈였을 가능성이 높다. 리더보드에 올릴 수치는 반드시 오라클 채점이 끝난 대표본(S3 353질의 이상)에서 재확인해야 한다는 방법론적 교훈이 확정됐다.
tagmem의 최종 포지션은 "1위는 아니지만 유일하게 붕괴 축이 없고, 읽기 비용이 준선형인 균형형 전략"으로 좁혀졌다 — 260822 발표 당시의 "최강" 프레이밍보다 보수적이다. 실제 우위(바닥층 비오라클 1위)는 좁지만 재현됐다.
tagmem이 vis-pure/frames-uniform을 앞서는 조건("사건 밀도 >16 이벤트 또는 multi-episode 지속")은 현재 v0.7/v1 데이터셋 어디에도 없다(사건 ~4-6개 상한). 이 조건을 만족하는 데이터가 오기 전까지는 종합 순위 개선을 기대하기 어렵다.
생성팀에 전달된 "사건 밀도 >16" 데이터가 도착하면 즉시 동일 파이프라인(쓰기 v1 + 읽기 v2 + r3)으로 재검증. cap8 옵션은 저장 비용 27%↓ 대비 손실이 distractor 층 -0.06뿐이므로, 저장 비용이 문제가 되는 장편 시나리오에서 기본값 승격 검토.