Index
2026-08-26 — Progress

Experiments 섹션 결과 테이블 통합 — Function×Strategy×Model 그리드로 재구성

scene_bench_paper | sections/experiments.tex, macros.tex

TL;DR

6→3
테이블 환경 수
5
고정 모델 컬럼
6
연속 커밋 수
-1
제거된 조건(shuffled)

1 배경 / 목적

실험 섹션은 이미 완료된 결과(Finding on Flash/Sonnet)와 아직 실행하지 않은 계획된 평가(GPT-5.6/Qwen3-VL/Gemini Robotics-ER API, Routine family, 3-tier full grid)가 별도 테이블로 나뉘어 있었다. 모델을 3개 추가하기로 하면서 "Planned VLM grid"·"Planned Routine grid" 같은 별도 테이블을 계속 늘리면 테이블 수가 기하급수적으로 늘어나는 구조적 문제가 있었다.

제약: Tier-1(memory QA)·Tier-2/3(replay/online) 결과와, 4개 memory function(Finding/Restore/Resume/Routine)과, 5개 모델을 모두 한 지면에 넣으면서도 완료/미완료 셀을 명확히 구분해야 함 — 별도 테이블로는 이 3중 축(function×strategy×model)을 유지보수하기 어려움.

2 작업 내용

6개 커밋에 걸쳐 순차적으로 테이블 구조를 재설계했다.

1) 조건 축소 — f2210a7 (17:29 KST)

shuffled-memory 조건(causal-reliance test)을 protocol.tex / experiments.tex / appendix.tex / introduction.tex 4개 파일에서 삭제. "run shuffled-memory and report" TODO도 함께 제거 — generalization split(unseen assets/rooms/rules, longer delay)으로 대체 예정.

2) 모델 매크로 추가 + 계획 테이블 신설 — 6392f00 (18:36 KST)

macros.tex: \gptm{GPT-5.6}, \qwenm{Qwen3-VL}, \geminierm{Gemini Robotics-ER} 추가 experiments.tex: \subsection 다수를 \paragraph로 다운그레이드(지면 절약), tab:grid(Planned Tier-1 Finding grid, 5모델×6전략, 실측 2모델 + ph 3모델), tab:routine(Planned Routine grid, 전부 ph) 신설

3) 테이블 폭 정리 — c72c430 (18:46 KST)

table* → table, resizebox{\textwidth} → resizebox{\columnwidth}로 전환 (2-column 논문에서 불필요하게 전체 폭을 차지하던 테이블들을 1-column 폭으로 축소)

4) Table 2 통합 — 06e01e3 (18:50 KST, 순증감 -28줄)

tab:tier1을 Function(Finding/Restore/Resume/Routine) × Strategy(6) × Model(5) 단일 그리드로 재구성. 기존 tab:grid, tab:routine을 삭제하고 그 내용을 tab:tier1 안에 흡수. tab:online도 동일한 Strategy 정렬 순서로 재배치(오름차순 성능 정렬 → 논리적 전략 순서로 변경).

5) Tier2/3 통합 그리드 — 864f88c (19:04 KST)

tab:online을 "Tier-2 replay SR / Tier-3 online SR" 형식의 Function×Strategy×Model 풀 그리드로 확장 (기존엔 Finding 단일 function, 6 strategy만 존재). 현재 실측은 Finding×Flash×π0.5 셀뿐이고 나머지는 ph.

6) 진단 테이블 병렬 배치 + 메타 정리 — 7c40f03, 366db24 (19:09~19:18 KST)

tab:layers(query-type decomposition)와 tab:storage(image-cap stress test)를 minipage 2개로 나란히 배치(table* + 2×minipage 0.49\textwidth) — 세로 공간 절약. "remove manuscript-status meta commentary": 섹션 제목 "Preliminary evaluation and planned experiments" → "Experiments"로 축약, \todo{PH-1/2/3: to be completed} 문구를 \todo{PH-1} 등으로 간결화.

영향 파일: sections/experiments.tex(6개 커밋 전부), macros.tex, sections/{appendix,protocol,introduction}.tex. 6개 커밋 합산 약 +213/-169 라인.

3 결과 (수치)

구간테이블 환경 수비고
6392f00 직후 (계획 테이블 신설)최대 6개tier1, layers, online, storage, grid, routine 개별 존재
366db24 직후 (통합 완료)3개tier1(통합), online(통합), layers+storage(side-by-side 1개 table*)
모델 컬럼5개 고정Flash·Sonnet(실측) + GPT-5.6·Qwen3-VL·Gemini Robotics-ER(ph)
실측 수치는 무손실 이관: Finding \svis{} Flash 0.690, Sonnet 0.477 등 기존 실측값은 전부 새 그리드로 그대로 이동 — 이번 작업은 신규 실험이 아니라 순수 구조 리팩토링.
ph(placeholder) 급증: 통합 그리드가 4 function × 6 strategy × 5 model = 최대 120셀 구조가 되면서, 그중 실측 셀은 Finding×Flash/Sonnet 및 Tier2/3 Finding×Flash 일부뿐 — 나머지는 대부분 \ph. 표 크기는 완성 형태를 미리 확정했지만 채워야 할 셀은 오히려 시각적으로 더 크게 드러남.

4 Takeaway

의미

모델을 2개→5개로 늘리기로 한 결정을 테이블 구조에 미리 반영해 둔 것 — 이후 GPT-5.6/Qwen3-VL/Gemini Robotics-ER API 결과가 들어올 때마다 새 테이블을 만들 필요 없이 \ph를 실측치로 치환하기만 하면 된다. 다만 테이블이 6개→3개로 줄었다고 지면이 줄어든 것은 아니다 — 오히려 tab:tier1/tab:online은 table*(전체 폭)로 커져서, App.5 카드(9페이지 압축)에서 확보한 여유를 다시 소모할 위험이 있다.

5 Next Steps

미해결 한계

tab:tier1/tab:online이 table*(2-column full width)로 전환되면서 본문 페이지 수 재검증이 필요 — 260826-page_limit_restructure.html 카드에서 확정한 9.0p가 이 통합 테이블 확장 이후에도 유지되는지 미확인.

다음 작업

GPT-5.6/Qwen3-VL/Gemini Robotics-ER API 평가 실행 후 tab:tier1의 해당 \ph 셀 치환, Routine family 데이터셋 생성 완료 시 tab:tier1/tab:online의 Routine 행 채우기. 통합 테이블 반영 후 본문 페이지 수 재확인 필요.