Index
2026-09-23 — Progress

Memex worked-example 교체 — 16-image Finding-only walkthrough → 8-image Finding+Resume trace

scene_bench_paper | scripts/build_memory_trace_figures.py, figures/memex_current/, appendix_memex.tex

TL;DR

16→8
image cap 정합
1→2
커버 task 수
135줄
신규 생성 스크립트
6장
신규 근거 프레임

1 배경 / 목적

기존 appendix worked-example(260831 카드에서 LaTeX 조판→HTML 캡처로 전환된 memex_card_a/b.png)은 최대 16장 메모리 이미지를 쓰는 구버전 설정을 예시로 삼고 있어, 본 논문의 메인 비교(8-image cap)와 직접 대응하지 않았다. 또한 Finding 사례 하나만 다뤄, 별도 관찰 조건(wrist-view+room-list, 별도 카드)이 추가된 Resume 태스크의 실패 양상은 예시가 없는 상태였다.

2 작업 내용

신규 스크립트 scripts/build_memory_trace_figures.py(135줄)를 작성해 figures/memex_current/sources.json(183줄, 신규)에 정의된 실제 데이터 소스로부터 프로그래매틱하게 trace figure를 생성했다 — 기존 HTML 캡처(headless Chromium) 방식 대신 직접 렌더링. 결과물 finding_trace.pdf/png, resume_trace.pdf/png와 근거 프레임(finding_10750/12351/6250.png, resume_8586/9467/9616.png)을 figures/memex_current/에 추가했다.

구 walkthrough: figures/memex/memex_card_{a,b}.png (headless Chromium 캡처, 16-image cap, Finding 단일) → archive/appendix_20260923/legacy_memory_figures.tex 로 이관 (컴파일 미포함) 신규: scripts/build_memory_trace_figures.py (135줄, sources.json 기반 직접 렌더링) 신규 산출물: figures/memex_current/{finding_trace,resume_trace}.{pdf,png} + 근거 프레임 6장 appendix_memex.tex: "[NEW] Visual traces of memory use" 서브섹션으로 교체, app:memory-trace-figures 라벨

3 결과 (수치)

Finding trace — 물체명 표류("spoon" vs "ladle") 상황에서 srf는 이동 기록은 남기되 응답을 abstain, stag은 fallback retrieval로 이름을 연결해 정답(kitchen dining table)에 도달하는 과정을 8-image 조건에서 시각화.

Resume trace — 진단표(별도 카드)의 실패 유형을 그림으로 예시: srf가 "eggs"를 "potatoes"로 오기록, stag은 계란 배치 4건과 누름 2건을 정확히 회수하고도 여전히 계란 이송 2건을 "미완료"로 잘못 나열 — 완료 증거 회수 성공 + 최종 응답 오류가 공존하는 사례. 두 그림 모두 exocentric+wrist 합성 이미지(Resume wristrooms 조건, 별도 카드)를 사용.

진단표와의 연결: Resume trace figure가 보여주는 stag의 "회수는 맞았지만 미완료 판정은 틀림" 패턴은, 진단표의 completed-task-named-unfinished 컬럼(stag 30/161)에 대한 구체적 사례를 제공한다.
캡션 명시 한계: "Image captions are model-generated, and the trace does not isolate the causal contribution of text versus images" — 원인 분리를 주장하지 않는다는 제약이 캡션에 명시됨.

4 Takeaway

의미

기존 워크스루가 "메모리 방식이 어떻게 다른 정보를 저장하는가"를 보여주는 정적 스크린샷이었다면, 새 trace figure는 진단표(count-wrong 분해)와 신규 Resume 관찰 조건의 결과에 직접 연결된 실패 사례를 보여줘, 정량 결과(count-wrong 39/161 등)에 구체적인 얼굴을 부여한다 — "숫자가 왜 그렇게 나왔는가"에 대한 질적 근거가 정량 진단표와 짝을 이루게 됐다.

5 Next Steps

미해결 한계

sources.json에 명시된 데이터 출처에 대한 별도 검증 로그는 아직 없다(스크린샷 캡처 대비 자동 생성이라 소스 추적은 쉬워졌으나 검증 절차는 미비).

다음 작업

figure 캡션의 "does not isolate causal contribution of text vs images" 한계를 본문 서술에서도 재확인할지 검토. 동일 스크립트로 Restore/Routine 태스크의 trace figure도 추가할지 결정(현재는 Finding+Resume 2개만).