실험 3 Table 3 — 재수행률·편집 거리·기억 실패 유형으로 본 메모리의 실행 효과

TL;DR

재수행률(완료 과제를 잊고 다시 건드림)은 메모리가 있으면 급감: restore NoMem 27.8%(10/36) → R&R 수정판 2.0%(1/50), p=.004; routine NoMem 32.3%(10/31) → 대부분 memory arm 0%, p=.002.
편집 거리(칸당 삽입)도 메모리에서 급감: restore NoMem 0.28 → R&R 0.01; routine NoMem 0.50 → MEM 0.01.
하지만 `유령 들기`(손 빈 상태를 들었다고 확신)는 메모리에서 급증: restore B1 NoMem 21.0%(25/119) → MEM 65.4%(140/214) p<.001, MemER 56.8% p=.004, R&R 43.0% p=.029.
`거짓 done`(목표 전 조기 종료)도 resume에서 급증: NoMem 29.8%(48/161) → MEM 64.6%(104/161) p<.001, Unif 52.8% p<.001, R&R 57.8% p<.001.
반대로 resume의 `초과 실행`·`완료 미인지`는 메모리에서 줄어든다: A3 NoMem 64.0%→R&R 33.7%(p<.001), A4 NoMem 44.1%→MEM 8.2%(p=.019) — 두 실패 계열이 상쇄돼 SR 동률로 보였을 뿐이다.

27.8%→2.0%

restore 재수행률 (NoMem→R&R수정판)

21.0%→65.4%

restore 유령들기 B1 (NoMem→MEM)

29.8%→64.6%

resume 거짓done B2 (NoMem→MEM)

582칸

R&R 수정판 대조군(4가족)

1 배경 / 목적

실험 3(Oracle-plan: GT 계획 제공 + 시드 메모리 없음, execute-state만 변수)은 이미 여러 카드(260924-oracle_plan_final_find_restore, 260925-oracle_find_restore_no_memory_parity, 260926-oracle_rrfix_tagmem_rerun)에서 SR 기준 5 arm(NoMem/Uniform/MEM/MemER/R&R) 동률로 결론났다. R&R 온라인 구현 결함 3건을 고친 수정판(582칸)으로 재실행해도 결론은 그대로였다.

남은 질문: SR은 성공/실패만 보는 이진 지표라, 메모리가 실행 과정 자체(불필요한 재작업·판단 오류)를 바꾸는지는 가려져 있다. Table 3의 기존 지표(Rep./Ovr.)도 관대화의 여지가 있어 — 260926 하루 동안 좁게 정의한 새 지표 2종(과제 재수행률, 실행-이상 편집 거리)과 실패 유형 분류 감사를 추가해 이 질문에 직접 답한다.

2 작업 내용

2.1 과제 재수행률 (task redo)

완료된 단위 u에 다시 손을 대는 것 — 방금 한 행동을 확인하려는 즉시 재시도(지각)는 제외하고, 다른 단위로 넘어갔다 돌아온(기억) 경우만 센다.

scripts: tmp/oracle_plan/task_redo.py → task_redo.md/.json 좁은 정의: Multi 칸 전용(단위 ≥2 있어야 재수행 가능) 넓은 정의(지연 재수행): 완료 뒤 (a) 다른 종류 행동으로 재조작 또는 (b) 자리를 떴다 돌아와 같은 행동 — 같은 자리 즉시 확인 재시도는 제외, Single 칸에서도 잡힘 지표: 질의 확률(redo≥1인 질의 비율) + 단위 확률(재수행된 완료 단위 비율) + NoMem 대비 칸 짝 McNemar

2.2 실행 편집 거리 (edit distance)

이상적 행동열(GT 계획)과 실제 실행열을 토큰 단위로 비교. 여러 변형을 순차 개발:

scripts: tmp/oracle_plan/build_ed_preview.py → ed_preview/{ed_tables.tex, ed_values.json, preview.pdf} --immediate-free : 바로 앞과 같은 성공 토큰(지각 확인 재시도)은 무비용 처리 --multi : Multi 칸 전용 (삽입 신호는 resume 외 거의 0) --manip2 : 정답 조작 ≥2 칸만 (find Single·resume 방문/누름1 제외) strict 변형 : 이동은 도착 자리별 토큰(1m 병합), 끝내 실패한 블록은 실패 토큰으로 벌점 지표: 칸당 삽입 횟수(Ins.) + 성공 칸 정규화 편집 거리 d/|R|

2.3 실행 기억 실패 유형 감사

McNemar 페어 비교로 두 반대 방향의 실패를 분리 집계(tmp/oracle_plan/memory_failure_audit.py):

A. 완료를 잊음 (기억 부재형) A1 되돌림 : 목표 자리에 놓인 물체를 나중에 다시 집어 실제로 들어올림 A2 자기 낙하 : 들고 있는 물체에 pick을 다시 내서 손에서 놓침 (든 걸 모르고 다시 집음) A3 초과 실행 : (resume) 충족된 과제에 같은 종류 행동을 더 함 A4 완료 미인지 : 목표 상태가 끝까지 유지됐는데 done 없이 예산/가드로 종료 B. 틀린 상태를 믿음 (기억 오류형) B1 유령 들기 : 손이 빈 상태에서 "들고 있다"고 서술하며 pick_and_place를 냄 B2 거짓 done : false_done (목표 달성 전 done 선언) B3 헛 재-놓기 : 이미 목표 자리에 놓인 물체에 pick_and_place를 다시 냄 (상태 변화 없음) 코호트: 보관소 본표(find·routine·resume 원 행, restore는 tmrep) + R&R 수정판 열 별도 대조

결과는 Table 3 LaTeX/PDF/PNG 미리보기로 만들어 Overleaf에 반영(8a2be0c push 949aa30 → 1bcd3ab 레이아웃 정리, push 85643b9). 병행해 가족별 sub-subgoal 턴별 예시 시트(subgoal_examples_main.py, rrfix_examples.py)도 만들어 논문 정성 사례 후보를 준비했다(episode 조회 오류 3건 발견·수정, 독립 검증기로 60행 불일치 0 확인).

3 결과 (수치)

3.1 과제 재수행률 (전체 칸, R&R 수정판 포함)

가족 (칸)	NoMem	Unif	MEM	MemER	R&R	R&R 수정판
find (150)	6.9%	1.5%	0.0%	3.6%	1.8%	5.0%
restore (148)	27.8%	5.1%	4.3%	4.8%	6.1%	2.0% (p=.004)
routine (123)	32.3%	0.0% (p=.002)	0.0% (p=.002)	3.7%	0.0% (p=.002)	3.2%
resume (161)	27.1%	16.5%	12.0% (p=.049)	21.5%	14.7% (p=.021)	13.3% (p=.039)

일관된 방향: 4가족 모두 메모리 arm이 NoMem보다 재수행률이 낮거나 같다. restore·routine에서 감소폭이 가장 크고 통계적으로 유의(p≤.021).

3.2 편집 거리 — 칸당 삽입 / 성공 칸 정규화 거리 d/|R|

가족	지표	NoMem	Unif	MEM	MemER	R&R	R&R 수정판
restore	칸당 삽입	0.28	0.00	0.01	0.01	0.01	0.01
routine	칸당 삽입	0.50	0.04	0.01	0.03	0.06	0.01
resume	칸당 삽입	1.78	1.18	0.69	1.24	0.39	0.43
find	성공 칸 d/\|R\|	0.184	0.151	0.148	0.162	0.157	0.141
restore	성공 칸 d/\|R\|	0.183	0.048	0.083	0.075	0.069	0.055

3.3 실행 기억 실패 유형 — 대표 셀 (McNemar p, NoMem 대비)

가족	유형	NoMem	가장 큰 memory arm 값	방향	p
restore	A1 되돌림	17.1%	0.0% (Unif/MemER)	감소 (좋음)	.016
restore	B1 유령 들기	21.0%	65.4% (MEM)	증가 (나쁨)	<.001
restore	B3 헛 재-놓기	12.2%	37.0% (MemER)	증가 (나쁨)	.013
resume	A3 초과 실행	64.0%	29.3% (MEM)	감소 (좋음)	<.001
resume	A4 완료 미인지	44.1%	7.1% (Unif)	감소 (좋음)	.002
resume	B2 거짓 done	29.8%	64.6% (MEM)	증가 (나쁨)	<.001
routine	A1 되돌림	18.8%	0.0% (전 arm)	감소 (좋음)	.031

상쇄 구조: restore·resume에서 메모리는 "완료를 잊는" A계열 실패(되돌림·초과실행·완료미인지)를 뚜렷이 줄이지만, 그 대가로 "상태를 잘못 확신하는" B계열 실패(유령 들기·거짓 done·헛 재-놓기)를 그만큼 늘린다. 두 방향이 SR에서 서로 상쇄돼 5 arm 동률로 보인 것이다.

4 Takeaway

의미

실험 3의 "SR 동률"은 이제까지 "메모리가 execute-state에서 도움이 안 된다"로 읽혔다. 이번 감사로 보면 정확한 서술은 "메모리는 실행 방식을 바꾸지만 그 순효과가 SR에서 상쇄된다"이다 — 잊음형 실패(재작업·재수행·더 긴 편집 거리)는 메모리로 확실히 줄지만, 메모리가 만든 잘못된 확신(유령 들기·거짓 done)이 그만큼의 실패를 새로 만든다. 이는 논문 Table 3에 Rep./Ovr.만으로는 드러나지 않던 서사이며, R&R Agent를 baseline으로 재포지셔닝하라는 ICLR 모의 리뷰 지적(별도 프로젝트 scene_bench_paper 카드 260926-iclr_council_review)과도 맞물린다 — "검색은 됐지만 SR은 안 오른다"의 구체적 메커니즘을 처음으로 실행 단위까지 분해했다.

5 Next Steps

미해결 한계

B1(유령 들기)·B2(거짓 done) 급증의 인과 경로가 아직 상관관계 수준이다. 260926-oracle_rrfix_tagmem_rerun 카드에서도 [now] 라벨 변경이 done을 앞당기는(false_done↑) 부작용이 보고됐는데, 이번 B2 결과와 같은 메커니즘인지는 정성 확인(reasoning 텍스트 289건 중 라벨 직접 인용 0건)만 됐고 구조적 검증은 안 됐다.

다음 작업

(1) B1·B2 급증 원인 가설(메모리 텍스트가 "이미 처리함"을 과신하게 만드는지) 검증 — 프레임 대조로 유령 들기 턴을 직접 재생. (2) 편집 거리 strict 변형(이동 병합·미회복 실패 벌점)의 find Multi 전용 결과가 아직 arm 간 유의차 검정 전 — McNemar 마무리. (3) Table 3에 새 지표(재수행률/편집 거리) 반영 여부와 본표 R&R 교체 여부는 사용자 결정 대기. (4) sub-subgoal 예시 시트(가족별 3칸)를 부록 정성 사례로 쓸지 결정.