restore 질의 힌트 v2 ablation

TL;DR

시스템 프롬프트에 4줄 힌트("로봇이 집은 적 없는데 자리가 바뀌었다면 스스로 옮겨진 것, 그 이전 자리가 답")를 넣어 같은 메모리로 다시 읽었다.
효과 ≈ 0: rf-v3 +.016(D② .066→.112, 순 +9행), vis-pure −.007(D② +5행을 D③ hidden −8행·S② −4행으로 되갚음), blind·textlog·frames ±.01.
D② 의 병목은 읽기가 아니라 메모리에 "옮기기 전 모습"이 없다는 것. writer 가 로봇 행동 중심으로 쓰는 한 힌트 한 문장으로는 안 된다.
본표 미채택 — 힌트 없는 v2 표 유지. 결과는 final_results/restore_v1.1_609076c0/tables/restore_query_hint_v2_ablation_NOT_HEADLINE.md.

+.046

rf-v3 D② Δloc

−.143

vis-pure D③ Δloc

−.007

vis-pure 전체 Δloc

$25.16

비용

1왜 · 어떻게

restore D②(distractor 196행)는 writer v2 로도 안 올랐다(rf-v3 .077→.066). writer 힌트는 "로봇이 옮긴 물체"만 말하므로 남이 옮긴 물체엔 지시가 없다. 남은 후보가 읽기 쪽: 프롬프트가 "물체가 로봇 없이도 움직인다"를 한 번도 말하지 않는다는 가설. 사용자 승인 문구(조건절, 575행 전부에서 참):

Objects in this house do not always move because the robot moved them. If you remember this object at some earlier place and the robot never picked it up, then it changed place on its own while the robot was elsewhere — and that earlier place is what the question is asking for.

SBENCH_RESTORE_QUERY_HINT=v2 · --memory-from tmp/type1v2_flash37_restore_merged.json (v2 writer, 사용자 결정 'v1 writer 폐기') D rqh2_flash37 118373 · 9/12 00:05 KST · 1h54m · $25.16 · 5전략 × 575행 · 비교 기준 = 같은 메모리 힌트 없음(tmp/restore_final_flash37_merged.json)

2결과 — Δloc = 힌트 − 무힌트

전략	판	ALL	nohidden	D1	D2	D3	S1	S2
blind	no-hint	0.031/0.009 (n=575)	0.035/0.010 (n=519)	0.047/0.019 (n=215)	0.036/0.000 (n=196)	0.000/0.000 (n=56)	0.020/0.020 (n=51)	0.000/0.000 (n=57)
blind	hint	0.040/0.003 (n=575)	0.044/0.004 (n=519)	0.079/0.009 (n=215)	0.026/0.000 (n=196)	0.000/0.000 (n=56)	0.020/0.000 (n=51)	0.000/0.000 (n=57)
blind	Δloc	+0.009	+0.010	+0.033	-0.010	+0.000	+0.000	+0.000
textlog	no-hint	0.525/0.430 (n=575)	0.480/0.399 (n=519)	0.935/0.828 (n=215)	0.031/0.000 (n=196)	0.946/0.714 (n=56)	0.824/0.569 (n=51)	0.000/0.000 (n=57)
textlog	hint	0.527/0.431 (n=575)	0.482/0.401 (n=519)	0.940/0.828 (n=215)	0.026/0.000 (n=196)	0.946/0.714 (n=56)	0.843/0.588 (n=51)	0.000/0.000 (n=57)
textlog	Δloc	+0.002	+0.002	+0.005	-0.005	+0.000	+0.020	+0.000
frames-uniform	no-hint	0.224/0.097 (n=575)	0.229/0.100 (n=519)	0.367/0.177 (n=215)	0.168/0.066 (n=196)	0.179/0.071 (n=56)	0.098/0.000 (n=51)	0.035/0.018 (n=57)
frames-uniform	hint	0.221/0.092 (n=575)	0.225/0.096 (n=519)	0.349/0.158 (n=215)	0.184/0.082 (n=196)	0.179/0.054 (n=56)	0.098/0.000 (n=51)	0.018/0.000 (n=57)
frames-uniform	Δloc	-0.003	-0.004	-0.019	+0.015	+0.000	+0.000	-0.018
rollforward-v3	no-hint	0.228/0.096 (n=575)	0.216/0.087 (n=519)	0.437/0.205 (n=215)	0.066/0.005 (n=196)	0.339/0.179 (n=56)	0.078/0.000 (n=51)	0.018/0.000 (n=57)
rollforward-v3	hint	0.243/0.108 (n=575)	0.233/0.102 (n=519)	0.442/0.214 (n=215)	0.112/0.036 (n=196)	0.339/0.161 (n=56)	0.059/0.000 (n=51)	0.018/0.000 (n=57)
rollforward-v3	Δloc	+0.016	+0.017	+0.005	+0.046	+0.000	-0.020	+0.000
rollforward-vis-pure	no-hint	0.332/0.148 (n=575)	0.320/0.148 (n=519)	0.460/0.237 (n=215)	0.255/0.112 (n=196)	0.446/0.143 (n=56)	0.196/0.059 (n=51)	0.123/0.018 (n=57)
rollforward-vis-pure	hint	0.325/0.151 (n=575)	0.328/0.156 (n=519)	0.474/0.237 (n=215)	0.281/0.133 (n=196)	0.304/0.107 (n=56)	0.196/0.059 (n=51)	0.053/0.018 (n=57)
rollforward-vis-pure	Δloc	-0.007	+0.008	+0.014	+0.026	-0.143	+0.000	-0.070

rf-v3 D② +.046 = 11행 얻고 2행 잃음. 절대값 .112 — 여전히 frames .184·vis .281 아래. abstain .35→.30, orig_loc .358→.397.

vis-pure 는 D③(hidden)에서 −.143(8행): 힌트가 "이전 자리를 답하라"를 부추겨 본 적 없는 물체의 이전 자리를 지어내는 부작용. S② 도 −4행. D② +5행과 상쇄되어 순 −.007.

3Takeaway

D② 는 읽기 지시의 문제가 아니다

로봇이 자리를 비운 사이 바뀐 물체는 이전 관측이 메모리에 남아 있어야만 원래 자리를 답할 수 있다. writer 가 로봇 행동 중심으로 쓰면(v2 도 그렇다) 그 관측이 보존되지 않고, 읽기 프롬프트가 아무리 유도해도 없는 정보는 못 꺼낸다. 이건 writer 설계(관측 보존) 영역이다.

본표 미채택

순효과 0 이고 hidden 부작용이 있으므로 힌트 없는 v2 표를 유지한다. 힌트 결과는 ablation 표로만 보관.

4다음

D② 개선은 전략 설계 몫(방을 떠날 때 배치 스냅샷 보존 등) — 평가 세션 범위 밖, 기록만.
hidden 부작용은 "본 적 없으면 답하지 마라"를 붙이면 사라질 수 있으나, 미채택이라 추가 측정 안 함.

생성기 tmp/hf_check/grid_restore_hint.py → tmp/type1v2/restore_hint_final.md · 병합 tmp/rqh2_flash37_merged.json · 로그 claude/260911/exp-restore_query_hint_v2.md