Index
2026-08-25 — Progress

벤치마크 통계 표 → 3-panel Figure 전환

scene_bench_paper | sections/benchmark.tex §3.4 (Statistics and positioning)

TL;DR

3
패널 수
9.8-16x
episode 길이 우위
39/-23
benchmark.tex 라인 diff

1 배경 / 목적

§3.4(Statistics and positioning)에 있던 통계 표는 episode length, control steps, camera 구성, embodiment, query 수, distribution size 등 이질적인 항목을 한 테이블에 나열한 형태였다. 벤치마크의 핵심 강점(긴 episode, 많은 query)이 숫자 나열에 묻혀 한눈에 안 들어오는 문제가 있었고, 이는 §1 카드의 9페이지 압축 작업과 별개로 페이지당 정보 밀도를 높이기 위한 프레젠테이션 개선이었다.

기존 한계: 표 형태로는 "우리 벤치마크가 기존 대비 얼마나 긴 episode를 갖는지"를 정량 비교로 즉시 보여주기 어려움 — 독자가 직접 숫자를 비교해야 함.

2 작업 내용

표를 그대로 그림으로 바꾸는 대신, chart화 가능한 수치(episode length, query 수, query 구성)만 3-panel bar chart로 뽑고 chart화 불가능한 사실(카메라 구성, embodiment, 데이터 크기, 현재 릴리즈 범위)은 caption/본문 텍스트로 남겼다.

figures/make_stats_fig.py (신규, 65 lines) - matplotlib.use("Agg"), pdf.fonttype=42 (vector 임베딩) - (a) episode length in continuous control steps vs prior benchmarks (LongAct 제외: discrete action이라 continuous steps 비교 불가) - (b) unique evaluation query 수 - (c) query composition by memory function - 팔레트: family #b05e0d/#00897b/#6f43c0/#bd3560, highlight ours #1d4ed8 vs neutral others #9aa3ad — dataviz validator light-surface 기준 ALL PASS - hbar() 헬퍼: 각 막대 direct-label, ours만 bold+색상 강조, spine 최소화 sections/benchmark.tex - \begin{table} → \begin{figure}, \includegraphics{figures/stats.pdf} - non-chartable facts (카메라 2 exo + 1 wrist, 85GB, mobile Franka 7-DoF 등)는 caption과 본문 문단으로 이동 .gitignore - 빌드 산출 PDF(iclr2027_conference.pdf 등)는 계속 무시하되, figures/*.pdf는 추적 대상에 포함되도록 패턴 좁힘 (figure 자체는 소스로 취급)

영향 파일: figures/make_stats_fig.py(신규), figures/stats.pdf(신규, 32.9KB), sections/benchmark.tex, .gitignore. 총 4 files, +83/-23 라인.

3 결과 (수치)

Panel내용핵심 수치
(a) Episode lengthcontinuous control steps, 기존 벤치마크 대비10,520-17,250 steps — RoboMemArena(1,076 steps) 대비 9.8-16배
(b) Evaluation queriesunique query 개수~1,160 (Finding 480 / Restore 192 / Resume ~400 / Routine ~90)
(c) Query compositionmemory function별 구성비full-release 목표치 기준, 현재 공개분은 153 episodes / 759 queries
Vector PDF 출력: pdf.fonttype=42 설정으로 텍스트가 폰트가 아닌 outline으로 깨지지 않고 PDF에 임베딩 — 카메라 레디 인쇄 품질 확보.

4 Takeaway

의미

벤치마크의 차별점(episode 길이 9.8-16배, query 규모)이 표의 숫자 나열 대신 시각적 비교로 즉시 전달되도록 바뀌었다. 데이터 갱신이 스크립트 재실행 한 번으로 끝나므로, 최종 릴리즈 수치(현재는 153 episodes/759 queries, 목표는 200 episodes/~1,160 queries)가 확정되면 그림만 다시 생성하면 된다 — 표 형태였다면 수기로 다시 편집해야 했을 부분.

5 Next Steps

미해결 한계

현재 그림은 full-release 목표치 기준 수치를 쓰고 있어, 실제 공개 시점 데이터(153 episodes/759 queries)와 괴리가 있음을 caption에서만 안내 중 — 릴리즈 확정 시 그림 자체를 실측치로 재생성할지 결정 필요.

다음 작업

§1 카드(9페이지 압축)에서 언급된 결과 섹션(App. D) 완성 시점에 맞춰 make_stats_fig.py 재실행 → 최신 데이터로 figures/stats.pdf 갱신.