기억의 나이별 성능

TL;DR

이미지 예산형 메모리는 빨리 늙는다: frames-uniform loc .64 → .17(≤30s → 5분+, flash D1), vis-pure −.38.
사건 텍스트형은 덜 늙는다 — 단, 재작성 계약을 지키는 모델만: flash rf-v3 −.06 · tagmem −.16 / luna −.21·−.37 / 32B −.36(리셋).
보기만 한 물체에서는 flash vis-pure +.00 · tagmem −.01 로 평평 — 이미지 보관이 유효한 유일한 칸.
오라클도 늙는다: restore 가구 정답 .83 → .60. 로그는 방은 지키고 수납처는 잃는다.
routine 축은 행 구성 교란(multi 47%→3%)으로 해석 불가. resume 은 추세 없음(축 재정의 필요).

1방법

새 실행 없이 저장 행으로 계산. 증거 시점 정의 — find: answers[].s_since_last_seen(마지막으로 본 뒤) · restore: 에피소드 subtask 프레임에서 그 물체를 옮긴 마지막 시점 · routine: rules[].evidence 마지막 프레임 · resume: 컷 프레임 − 마지막 완료 단위. 편 길이 중앙 537초(≈9분). 스크립트 tmp/recency/recency_tables.py.

≤30s 구간은 질의 이미지에 물체가 그대로 보이는 행이 섞인다(blind loc .5 수준). 전략 비교는 같은 구간의 blind 대비 차이로 봐야 한다 — 그렇게 보면 flash textlog 는 +.32(≤30s) → +.69(30s~2분)로, 메모리의 값어치는 오래된 질의에서 커진다.

2find D1 — 로봇이 옮긴 물체 (241행), loc ≤30s → 5분+

전략	flash-3.7	luna	qwen3vl-32b	qwen3vl-8b
blind	.56→.08 (−.48)	.45→.12	.44→.29	.49→.29
textlog (oracle)	.88→.75 (−.13)	.91→.75	.87→.83	.85→.79
frames-uniform	.64→.17 (−.47)	.58→.21 (−.37)	.47→.12 (−.35)	.48→.29
rf-v3 (MEM)	.56→.50 (−.06)	.51→.29 (−.21)	.44→.08 (−.36)	.27→.17
vis-pure (MemER)	.71→.33 (−.38)	.68→.29 (−.39)	.64→.12 (−.51)	.67→.29
tagmem (ours)	.66→.50 (−.16)	.54→.17 (−.37)	.44→.21 (−.23)	.33→.21

2b1분 단위 — 마지막으로 본 뒤 몇 분 (find, 전체 정답률 = 방+가구)

행 수: 0분 228 · 1분 121 · 2분 69 · 3분 33 · 4분 31 · 5분 22 · 6분+ 22. 0분 칸은 질의 이미지로 풀리는 행이 섞여 있다(flash blind .32 → 1분 .02) — 메모리 비교는 1분 칸부터.

flash-3.7

전략	0분	1분	2분	3분	4분	5분	6분+
blind	0.32	0.02	0.03	0.06	0.00	0.05	0.00
textlog(오라클)	0.58	0.28	0.30	0.45	0.39	0.50	0.27
frames	0.54	0.45	0.26	0.36	0.16	0.18	0.23
rf-v3	0.40	0.31	0.35	0.39	0.32	0.27	0.41
vis-pure	0.55	0.51	0.43	0.42	0.39	0.36	0.36
tagmem	0.53	0.51	0.49	0.45	0.58	0.36	0.50

qwen3vl-32b

전략	0분	1분	2분	3분	4분	5분	6분+
blind	0.21	0.04	0.09	0.06	0.03	0.05	0.05
textlog(오라클)	0.52	0.28	0.32	0.45	0.42	0.50	0.32
frames	0.29	0.19	0.09	0.15	0.00	0.05	0.14
rf-v3	0.18	0.02	0.00	0.00	0.00	0.09	0.00
vis-pure	0.34	0.20	0.07	0.06	0.03	0.05	0.00
tagmem	0.24	0.17	0.19	0.12	0.10	0.09	0.09

flash 는 1분 이후 tagmem .51 → .50 · vis-pure .51 → .36 · rf-v3 .31 → .41 로 평탄하고 frames 만 .45 → .23 로 떨어진다. 32B 는 1분에서 .02~.16 으로 무너진 뒤 회복하지 않는다. 전 모델·두 축 표는 tmp/recency/per_minute.md.

증거의 절대 시각 축은 526행 중 240행이 8분+ 에 몰려 비교축으로 약하다.

2c근거 — 기준 정의와 "이미지 메모리가 늙는다"의 검증

증거 시점 기준

find 는 데이터셋 필드 last_seen_frame/s_since_last_seen, restore·resume 은 내가 유도(subtask 끝 프레임 · 컷 − 마지막 완료 단위), routine 은 rules[].evidence 마지막 프레임. 데이터셋 README 에 정의문이 없어 추적 픽셀로 확인: 그 프레임의 물체 픽셀 중앙 262, 이후 끝까지 최대 48(50 이상 0%) → "임계값 이상으로 보인 마지막 프레임"이 맞다.

보관 프레임은 정말 최근 쪽인가 (0=편 시작, 1=편 끝)

모델	vis-pure 평균/중앙	뒤 25% 비율	앞 25% 비율	tagmem 이미지 평균
flash-3.7	0.50 / 0.49	0.27	0.26	0.52
luna	0.65 / 0.70	0.43	0.12	0.51
qwen3vl-8b	0.86 / 0.88	0.83	0.00	0.52
qwen3vl-32b	0.86 / 0.87	0.82	0.00	0.52

8B·32B 는 앞 1/4 구간 프레임을 한 장도 남기지 않는다(최근 편향). 그러나 flash 는 0.50 으로 균등한데도 늙는다 — flash 의 원인은 최근 편향이 아니라 8장 예산이 편 전체 물체를 못 덮는 것.

0~1분(349행) → 2분+(177행) place 변화

전략	flash-3.7	luna	qwen3vl-8b	qwen3vl-32b
frames-uniform	−.256	−.253	−.102	−.170
vis-pure (MemER)	−.132	−.231	−.170	−.239
rf-v3 (MEM)	−.016	−.168	−.018	−.112
tagmem (ours)	−.038	−.139	−.067	−.076

2분+ 행 같은 행 짝비교 (승/패 · 부호검정)

모델	vis-pure vs tagmem	vis-pure vs rf-v3	frames vs tagmem
flash-3.7	14/28 · p=.044	29/19 · p=.193	14/56 · p<.001
luna	10/15 · p=.424	13/19 · p=.377	7/18 · p=.043
qwen3vl-8b	9/17 · p=.169	9/7 · p=.804	15/11 · p=.557
qwen3vl-32b	7/22 · p=.008	8/1 · p=.039	9/18 · p=.122

주장 가능: ① 오래된 증거에서 이미지 예산형이 텍스트/태그형보다 불리(flash·32B·luna 유의) ② tagmem·rf-v3 가 덜 늙는다(감소폭 최소). 조건부: ③ "최근 것만 남아서"라는 기제는 8B·32B 에만 해당. 금지: ④ 절대 시각 축·routine·resume 으로 이 주장 하지 말 것.

2d논문에 넣을 표 — 교란 2개를 뺀 D2 기준

앞의 2b·2c 표는 논문에 그대로 쓸 수 없다. 교란이 둘이다.

① 0분 칸은 기억이 아니라 질의 이미지가 푼다. flash blind 가 0분 .325 → 1분 .017. blind 는 메모리가 없으므로 .325 는 전부 질의 프레임에 물체가 아직 보여서 맞힌 것 — 0분을 포함한 Δ 는 기억 감쇠가 아니라 혼입 소멸을 잰다.

② 구간마다 질의 구성이 다르다. textlog 는 D1/S1 만 답할 수 있는데, 그 비율이 .50 → .38 → .46 으로 흔들려 네 모델 모두 1-2분 → 2분+ 에서 textlog 가 +.086~+.120 상승한다. 기억이 좋아진 게 아니라 답할 수 있는 행이 늘어난 것.

구간별 질의 구성

구간	n	D1	D2	S1	S2	D1+S1 비율
<1min	228	107	111	6	4	0.50
1-2min	121	40	73	6	2	0.38
>=2min	177	68	84	14	11	0.46

권장 논문 표 — D2/S2(보기만 한 것), find, 전체 정답률, Δ 는 1-2분 기준

행 수: <1min 115 · 1-2min 75 · >=2min 95. 칸 = 1-2분 → 2분+ (Δ).

모델	blind	textlog	frames	rf-v3	vis-pure	tagmem
flash-3.7	.027→.032	.000→.021	.560→.316 (−.244)	.320→.347 (+.027)	.667→.474 (−.193)	.573→.526 (−.047)
luna	.067→.000	.013→.021	.267→.084 (−.182)	.307→.179 (−.128)	.333→.147 (−.186)	.320→.221 (−.099)
qwen3vl-8b	.040→.105	.000→.021	.227→.137 (−.090)	.053→.042 (−.011)	.120→.063 (−.057)	.120→.105 (−.015)
qwen3vl-32b	.067→.084	.000→.021	.253→.116 (−.138)	.013→.011 (−.003)	.227→.032 (−.195)	.147→.147 (+.001)

짝비교 (D2 · >=2min 95행 · 같은 질의끼리 · 부호검정)

모델	tagmem vs vis-pure	tagmem vs frames
flash-3.7	14/9 · p=.405	31/11 · p=.003
luna	13/6 · p=.167	16/3 · p=.004
qwen3vl-8b	10/6 · p=.454	5/8 · p=.581
qwen3vl-32b	14/3 · p=.013	9/6 · p=.607

살아남는 주장: 관찰만 한 물체(D2)에서 이미지 예산형(frames·vis-pure)은 증거가 오래될수록 나빠지고, 태그/텍스트형(tagmem·rf-v3)은 거의 평평하다. flash(frames −.244·vis −.193 vs tagmem −.047·rf-v3 +.027) · 32B(frames −.138·vis −.195 vs tagmem +.001·rf-v3 −.003).

D1(로봇이 옮긴 것)은 표에서 뺀다 — 교란 제거 후 감쇠가 없다(최대 flash frames −.090, 나머지 ±.08 잡음). 기억의 나이 축은 관찰만 한 물체에서만 의미가 있다. luna 는 짝비교가 frames 대비만 유의(p=.004), vis 대비는 비유의(p=.167); 8B 는 전 구간 바닥이라 근거로 쓰지 않는다.

2e경계를 데이터에서 뽑는다 — 보관 지평 컷

2분 경계는 원리가 아니라 표본 때문이었다(1분 칸이 22~33행까지 떨어져 뒤 다섯 칸을 합침). 대신 vis-pure 가 실제로 덮는 범위를 재고 거기서 자른다.

보관 기하 (find 100편, 질의 시점 기준 나이)

모델	가장 오래된 보관 프레임 나이(중앙)	p25~p75	인접 간격	tagmem 이미지 수	tagmem 가장 오래된 나이
flash-3.7	518s	450~610s	70s	43	529s
luna	418s	335~486s	50s	72	532s
qwen3vl-8b	162s	124~184s	20s	72	532s
qwen3vl-32b	156s	133~180s	20s	72	532s

검증: (편끝 − last_seen_frame)/25 와 데이터셋 s_since_last_seen 차이 중앙 0.10s(n=589).

창 밖은 "메모리에 없음"이 증명된다. 증거 나이 > 가장 오래된 보관 프레임의 나이라면, 물체가 마지막으로 보인 시점이 보관 프레임 전부보다 앞이고 그 뒤로는 안 보이므로, 보관된 어떤 프레임에도 그 물체가 없다. D2 는 물체가 안 움직이므로 이 논증이 정확하다.

지평 안 → 밖 정답률 (D2/S2)

모델	H 중앙	창밖 n	blind	frames	rf-v3	vis-pure	tagmem
flash-3.7	518s	0	.140→—	.491→—	.358→—	.547→—	.544→—
luna	420s	7	.155→.000	.259→.143	.299→.000	.284→.143	.277→.143
qwen3vl-8b	163s	75	.124→.107	.181→.133	.038→.040	.167→.013	.133→.120
qwen3vl-32b	156s	69	.139→.072	.236→.130	.083→.014	.255→.014	.181→.145

창 밖 짝비교: tagmem vs vis-pure — 8B 9/1 p=.021, 32B 10/1 p=.012. vis-pure vs blind — 8B 1/8 p=.039: 창 밖에서 vis-pure 는 blind 보다 나쁘다(없는 기억으로 답을 지어낸다).

간격 축 — 증거에서 가장 가까운 보관 프레임까지 거리별 vis-pure 정답률

모델	0-15s	15-45s	45-90s	90s+
flash-3.7	.552 (125)	.556 (108)	.542 (48)	.250 (4)
luna	.307 (150)	.288 (104)	.038 (26)	.600 (5)
qwen3vl-8b	.157 (178)	.130 (54)	.000 (16)	.027 (37)
qwen3vl-32b	.255 (204)	.143 (28)	.000 (14)	.000 (39)

tagmem 은 네 모델 모두 285/285 행이 0-15s 칸이다(이미지 43~72장이 편 전체를 덮음) — 측정할 감쇠 구간이 없다.

flash·luna 에는 이 컷이 없다 — 창 밖 행이 0행·7행이고 flash 는 간격 축에서도 90s 까지 평평(.552/.556/.542). 즉 flash 의 시간축 하락은 커버리지로 설명되지 않는다. flash 를 "이미지 메모리가 옛것을 잃는다"의 사례로 쓰면 안 된다. 이 기제는 8B·32B에서만 수치로 완결된다.

2fflash 의 하락은 왜인가 — 커버리지가 아니라면

flash 는 보관 지평 밖 행이 0 이고 간격 축도 평평한데 D2 시간축에서 −.193 떨어진다. 후보별로 배제했다.

배제된 것

후보	검증	결과
보관 지평(창 밖)	창 밖 행수 flash 0·luna 7	❌ 해당 없음
보관 프레임까지 거리	vis-pure .552 / .556 / .542 (0-15 / 15-45 / 45-90s)	❌ 90s 까지 평평
쌍둥이 혼동	구간별 9% / 4% / 9%, 쌍둥이 없는 행도 .667→.500	❌ 나이와 무관
못 찾아 기권	1-2min .67/.03/.31 → ≥2min .47/.04/.48	❌ 손실이 전부 자신 있는 오답
간섭(후보 위치 수)	`n_candidates` 중앙 1, >1 인 행 2·11개	❌ 간섭 없음

부분적으로 설명되는 것 — 가시 구간 적중률

보관 프레임이 그 물체의 가시 구간 [last_seen − seen_s, last_seen] 안에 들어온 행의 비율:

모델	전략	<1min	1-2min	≥2min
flash-3.7	vis-pure	37%	23%	26%
flash-3.7	frames	39%	19%	23%
flash-3.7	tagmem	84%	68%	71%
qwen3vl-8b	vis-pure	70%	43%	9%
qwen3vl-32b	vis-pure	73%	59%	17%
8B·32B	tagmem	92~93%	83%	88~89%

적중률은 tagmem 이 vis-pure 의 약 3배(flash 71% vs 26%, 32B 89% vs 17%)이고 이것이 tagmem 우위의 실체다. 적중/미적중 정답률 차이는 flash frames +.193 · flash tagmem +.191 · 32B vis-pure +.178.

그러나 flash vis-pure 는 적중률이 23%→26% 로 오르는데 정답률은 떨어진다 — flash 의 하락은 이걸로도 설명되지 않는다. 한계: seen_s 는 총 가시 초이지 연속 구간이 아니라 이 창은 근사다.

남은 것 — 증거 품질, 그러나 검정력 부족

seen_s 중앙 21.4 → 18.5 → 15.5s. 이걸로 층을 나누면 하락이 사라지지 않고 한 층에 몰린다:

층 (flash)	vis-pure 1-2min → ≥2min	tagmem 1-2min → ≥2min
짧게 보임 (seen_s ≤ 10.2s)	.519 → .534 (+.016)	.444 → .586 (+.142)
길게 보임 (> 10.2s)	.750 → .378 (−.372)	.646 → .432 (−.213)

오래 본 물체일수록 오래되면 무너지고, 잠깐 본 물체는 처음부터 낮아 변화가 없다. 그리고 이 층에서는 tagmem 도 −.213 으로 같이 떨어진다 — tagmem 의 평평함은 층 평균의 결과이기도 하다. 층당 n=37~48 로 검정력이 약하다.

판정: flash 의 하락은 기억 상실이 아니다(손실이 기권이 아니라 자신 있는 오답). 논문 기제 표는 8B·32B 의 보관 지평 컷으로 쓰고, flash 는 이 기제의 사례로 쓰지 말 것.

3find D2 — 보기만 한 물체 (285행)

전략	flash-3.7	luna	qwen3vl-32b
blind	.50→.10	.66→.05	.46→.15
textlog (oracle · 관찰은 로그에 없음)	.54→.05	.51→.05	.34→.05
frames-uniform	.76→.55 (−.21)	.69→.15 (−.54)	.44→.20 (−.24)
rf-v3	.54→.40 (−.14)	.54→.15 (−.39)	.29→.05 (−.24)
vis-pure	.70→.70 (+.00)	.56→.15 (−.41)	.51→.10 (−.41)
tagmem	.66→.65 (−.01)	.43→.35 (−.08)	.36→.10 (−.26)

이미지형과 텍스트형의 기울기 차이가 이 벤치마크의 핵심 그림 후보다. 같은 8장 예산인데 균등 샘플링은 물체가 찍힌 구간을 놓치고, 보관 판단(MemER)·태그 저장(ours)은 오래된 관찰을 남긴다 — 단 모델이 그 판단을 할 수 있을 때만.

4restore — 옮긴 뒤 경과별 (flash, loc/place)

전략	≤1분	1~3분	3~6분	6분+
textlog (oracle)	.94/.83	.89/.79	.96/.77	.91/.60
frames-uniform	.39/.22	.24/.10	.23/.05	.21/.05
rf-v3	.46/.23	.30/.17	.36/.14	.30/.09
vis-pure	.46/.31	.41/.17	.37/.14	.30/.05
tagmem	.52/.26	.52/.31	.48/.20	.26/.05

luna·32B 도 같은 방향. 오라클의 방 정답은 유지되지만 가구 정답이 .83 → .60 으로 떨어진다.

5해석하면 안 되는 축

routine: 경과가 길수록 점수가 오르지만(flash textlog .72 → .90), 구간별로 행 구성이 다르다 — multi 비율 47% → 18% → 3%, 관찰 규칙 포함 30% → 27% → 10%, k_evidence 2.38 → 1.50. 쉬운 행이 오래된 구간에 몰려 있다.

resume: "컷 직전 공백" 축은 난이도가 아니라 컷 단계에 가깝고 n=83/56/22 로 작다. 과제 시작 → 컷 간격으로 다시 정의할 계획.

6Next

routine 은 direct·self·k_evidence 를 맞춘 뒤 재계산.
resume 축 재정의.
논문 그림: find D1/D2 경과별 곡선(전략 × 모델) 1장.

기억의 나이 — 증거 시점에서 질의까지의 간격별 성능