Scene-Mem — recall-report 메모리 비교 (260623)

TL;DR

메모리 = 유효: 보존형(M1/M2/M3v2) place_acc > 무보존(control/M3=0.00). "메모리 useless" 반증.
M2(keyframe) 최고 0.44 — next-subtask에선 control보다 나빴는데 recall에선 1등. 메모리는 필요없을 땐 방해, 필요할 땐 도움.
M3(덮어쓰기) = control = 0(장기망각), M3v2(append) = 0.22 — 누적이 망각을 이김.
단 신호 작음/교란: steak=상식누수(fridge), bowl=마지막프레임 anchor(sink). 깨끗한 변별은 fish뿐 → 상식차단·anchor제거 필요.

메서드 비교 (place_acc = 과거 fixture 회상 정확도)

method	place_acc	slot	cost
m2 (MemER keyframe)	0.444	0.444	$0.95
m1 (history 이미지)	0.222	0.222	$1.37
m3v2 (append 로그)	0.222	0.222	$0.81
control (무메모리)	0.000	0.000	$0.74
m3 (MEM 덮어쓰기→망각)	0.000	0.000	$0.77

보존형 > 무보존. M2(0.44) > M1=M3v2(0.22) > control=M3(0.00). 시각 keyframe이 placement를 가장 잘 보존. M3의 덮어쓰기(MEM)는 control과 동일하게 회상 불가.

M2의 반전. 같은 M2가 next-subtask(메모리 불필요)에선 net-negative였는데 recall(메모리 필요)에선 1등 — 두 결과가 모순이 아니라 일관됨: keyframe은 답이 현재 장면에 있을 땐 distraction, 과거에 있을 땐 evidence.

per-row — 어디서 변별되나

질문 / GT	method	예측 (place_ok)
Show me where the steak is placed. GT: Place the steak on a shelf in the freezer	control	Place the steak in/on the counter ✗
	m3	Place the steak on the counter ✗
	m1	Place the steak in/on the fridge ✗
	m3v2	Place the steak on the stove ✗
	m2	Place the steak in/on the fridge. ✗
Show me where the bowl is placed. GT: Place a bowl in the cabinet	control	Place the bowl in/on the sink ✗
	m3	Place the bowl in/on the sink ✗
	m1	Place the bowl in/on the sink ✗
	m3v2	Place the bowl in the sink ✗
	m2	Place the bowl in/on the sink ✗
Show me where the fish is placed. GT: Place the fish on the bottom rack of the oven	control	Place the fish on the counter ✗
	m3	Place the fish in/on the freezer ✗
	m1	Place the fish on the counter ✗
	m3v2	Place the fish in the oven ✓
	m2	Place the fish in the oven ✓

steak·bowl은 전 메서드 실패(교란). steak→GT freezer인데 다들 fridge/counter(상식 'fridge' 누수). bowl→GT cabinet인데 다들 sink(마지막 세그먼트가 sink라 현재 프레임 anchor). 메모리가 아니라 상식·현재장면이 답을 지배.

fish에서만 깨끗이 변별. GT oven을 M2·M3v2(보존형)만 맞힘, control·M1·M3은 실패. 진짜 메모리 신호가 보이는 유일한 질문.

의미 & 다음

n=9(실질 질문 3개)로 작음 + 교란. 방향(보존형>무보존, M2 best)은 맞지만, 확정하려면 (1) 상식차단(강제선택/반상식 배치 — 별도 task), (2) 마지막-프레임 anchor 제거(순수 회상은 STATE 중립화/제거), (3) 다양·대규모 셋.

data: results/gemini-3.5-flash__{control,m1,m2,m3v2,m3}__full__recall__report.json · code: --recall-style report

recall-report 메모리 비교 — 보존하면 회상된다 (M2 최고), 단 신호는 아직 작다

TL;DR

메서드 비교 (place_acc = 과거 fixture 회상 정확도)

per-row — 어디서 변별되나

의미 & 다음