Index
2026-09-16 — Analysis

resume에서 rf-v3가 vis-pure에 지는 이유 — 프롬프트 비대칭과 데이터 한계

scene_bench | 텍스트 메모리가 자기행동 기억 과제에서 이미지보다 못한 원인 추적

TL;DR

.143
rf-v3 resume_ok (불변)
.217
vis-pure resume_ok
.205
tagmem resume_ok
60%
누름 단위 1프레임뿐

1 배경 / 목적

resume은 "내가 뭘 하던 중이었나 / 몇 번 남았나"를 묻는 자기행동 기억 과제다. 오라클 textlog(.789)가 압도적이라, 같은 텍스트 계열인 rf-v3(재작성 요약)가 이미지 기반 vis-pure보다 나아야 할 것 같은데 실제로는 낮다(.143 vs .217). 이 역설을 행 단위로 규명했다.

2 작업 내용

원천 final_results/resume_v1_61871a3e 161행 · 6전략, 채점 요소를 분해(tasks_ok 어느 명령이 남았나 · remaining_ok 몇 번 남았나 · resume_ok 둘 다 · slot_ok_frac 부분점수). rf-v3가 컷 시점에 실제로 들고 있던 요약문과 tagmem의 LEDGER 줄을 같은 행에서 대조했다.

기전 — rf-v3는 로그가 아니라 재작성 요약

rf-v3의 텍스트는 매 청크 통째 재작성되는 요약이다(flash resume 1,384 전이 중 재작성 98.4% · 무변화 0.1%). 그 요약은 장면 서술이지 사건 목록이 아니다. 예(train_1843__2000:cut_06, 남은 과제 "세탁기 버튼 5회 누르기"): rf-v3 요약은 "…washing machine에 도달했다가 방향을 돌려 욕실로 이동…"으로 끝나 누름 횟수가 없다. 같은 행 tagmem LEDGER는 press safe → side table [living room]: ×2 (n=1,2 · t=60,90).

사용자 재지적 — 베이스라인엔 회차 지시가 없다

"MEM 논문에서는 1번→2번→3번 눌렀음으로 갱신되는데 여기는 안 하나?"라는 지적에 프롬프트 원문을 대조했다.

rollforward_v3.txt (구판): "merge repeated facts ... drop details that are no longer useful" → 반복 자체를 지우라는 지시 rollforward_v3b.txt (현행): 파괴적 지시는 제거됐지만 "회차를 들고 가라"는 지시는 여전히 없음 tagmem_v5.txt (ours): "store it again and put the occurrence number in n=" → 회차 세기 지시가 ours에만 있음

참고로 v3 → v3b(파괴적 지시 제거)만으로 flash resume rf-v3가 .056 → .143(+.087) 올랐다 — 프롬프트 문구가 이 셀에서 실제로 크게 작동한다는 방증.

v3c 작성 + 검증 (32B 무료 → flash $9 유료, 사용자 승인)

rollforward_v3c.txt = v3b + tagmem writer의 n= 지시와 동등한 두 문장(무대상 행동도 기록, 반복 시 누적 카운트 유지). 32B로 먼저 무료 검증 후 flash 재측정 승인을 받았다.

3 결과 (수치)

flash resume rf-v3c (161행, $9.39 = ingest $8.58 + 읽기 $0.82)

조건tasks_okremaining_okresume_okslot_ok
rf-v3 기준선(v3b).416.193.143.280
rf-v3 신규(v3c).391.230.143.326
vis-pure.503.280.217.323
tagmem.491.298.205.407
textlog(오라클).807.789.789.811

기전은 실제로 바뀌었다 — 컷 시점 요약에 회차 문구가 들어간 행 1%→12%. 그 20행만 보면 remaining_ok .100→.250(2.5배). 그러나 resume_ok는 .143 그대로 — remaining_ok 개선(11/22행)이 tasks_ok 하락(9/22행)에 상쇄됐다(짝비교 remaining_ok 17승11패, tasks_ok 16승20패).

과제 종류별 결과 (flash, remaining_ok)

남은 과제ntextlog(오라클)framesrf-v3vis-puretagmem
put_in_container271.000.222.333.556.667
move_objects171.000.529.529.588.647
press_button251.000.280.120.320.240
visit_rooms31.419.226.129.129.129

흔적이 남는 과제(담기·옮기기)는 비오라클도 .53~.67 — 회차를 "센" 게 아니라 상태에서 역산한다. 흔적이 안 남는 과제(누름·방 방문)는 전 비오라클이 .12~.32로 붕괴, 오라클만 1.000(방문은 오라클도 .419).

왜 누름은 원천적으로 셀 수 없나 — 프레임 커버리지 실측 (type2 100편)

과제 종류동작 구간0장1장2장3장+구간 길이 median
put_in_container355.00.51.34.1512.0초
move_objects303.00.42.33.2512.0초
press_button87.17.60.23.007.8초

누름은 7.8초 간격이라 10초 쓰기 샘플링에 자주 걸리지 않는다: 17%는 프레임 0장(아예 안 보임), 60%는 1장뿐, 3장 이상은 0%. 같은 세탁기 앞에서 반복되는 누름은 프레임이 서로 거의 동일해 1장씩 잡혀도 "몇 번째"인지 구분하기 어렵다. 물건 과제(12초 간격)는 0장이 없고 컨테이너가 차오르는 누적 흔적이 남아 컷 시점 한 장으로도 개수를 셀 수 있다.

tagmem LEDGER 정확도 — 과제 종류별

과제행장부=실제과다부족/없음
put_in_container27.63.07.30
move_objects17.41.12.47
press_button25.24.00.76

담기는 63%가 정확 — 장부가 맞으면 리더도 맞힌다. 누름은 24%뿐이고 76%가 부족(56%는 누름 줄 자체가 없음).

방 방문 — 오라클도 못 맞힌다

오라클(textlog) visit_rooms 포함 62행 중 34행 오답(.419). 원인은 기억이 아니라 "집에 방이 몇 개인지 알 수 없다"는 것 — 오라클 답 자체가 "the total number of remaining rooms ... cannot be determined"로 기권한다. 행동 로그는 간 방만 알려주지 집 전체 방 목록을 주지 않는다.

4 Takeaway

의미

"텍스트가 유리할 과제인데 텍스트가 졌다"는 잘못된 대비다. 오라클 textlog(.789)는 추가·보존형 행동 로그이고 rf-v3(.143)는 손실 압축 요약이다. 둘의 차이는 매체가 아니라 보존 방식이다. resume은 두 능력을 동시에 요구한다 — ① 진행 상태 인식(이미지가 유리) ② 회차 집계(장부가 유리). tagmem은 ②에서 비오라클 최고(remaining .298·slot .407)지만 ①에서 밀려 합산 지표가 vis-pure와 동률권에 머문다.

프롬프트 비대칭은 실재했고 v3c로 해소했지만(회차 지표 .193→.230, 문구를 실제로 쓴 행에서는 2.5배), 헤드라인 순서는 바뀌지 않았다 — flash조차 지시를 12%행에서만 따랐고, 쓴 숫자의 75%가 여전히 틀렸다. 더 근본적으로 누름 동작은 데이터 생성 단계에서 이미 "셀 수 없게" 만들어져 있다 — 7.8초 간격 반복이 10초 샘플링보다 촘촘해 어떤 writer도 넘을 수 없는 구조적 한계다.

5 Next Steps

미해결 한계

누름은 영상 자체에 흔적이 없다(1초 간격 스트립에서 11~24초 프레임이 사실상 동일, 260915 모자이크 파일럿에서도 확인됨) — 샘플링을 아무리 촘촘히 해도 안 보인다. 방 방문 질의는 오라클조차 원리적으로 못 푸는 구조.

다음 실험 (데이터 생성 측 수정 제안, 사용자 결정 필요)

① 누름: 반복마다 중립 자리로 물러났다 다시 접근하는 사이클로 생성하고 연속 누름 간격을 쓰기 샘플 간격(10초)의 2배 이상으로 벌린다 — 접근 장면이 회차마다 달라져야 셀 수 있다. 대안으로 표시등 등 눈에 보이는 상태 변화를 준다(과제 성격이 바뀜). ② 방 방문: 질의에 집의 방 목록을 명시하거나 문구를 명시 목록형으로 바꾸고, 아니면 회차 채점에서 제외해 별도 보고. ③ 프롬프트 반복 횟수 자체가 비대칭(tagmem writer v1~v9 8판 vs rf-v3 v3/v3b/v3c 3판)이라는 점을 논문 한계로 명시.