Index
2026-09-23 — Progress

관련 연구 비교 표에 episode/context 길이 열 추가 — 사용자 제공 이미지 수치 반영

scene_bench_paper | sections/page3-visuals.tex (Table 1: coverage), sections/related.tex

TL;DR

8.6분
우리 벤치 context 길이
15.5s
MemoryBench (최단)
~10~34배
스케일 차이
3
연속 소규모 커밋

1 배경 / 목적

Table 1(sections/page3-visuals.tex)은 기존 벤치마크 대비 우리 벤치의 capability coverage(8개 축 체크마크)만 보여줬고, "얼마나 긴 컨텍스트를 다루는가"라는 스케일 차이는 표에 없었다. 사용자가 제공한 비교 이미지(context_length_compare.png)에 길이 수치가 있어 이를 표에 반영하는 작업이 발생했다.

2 작업 내용

3연속 커밋으로 진행됐다. (1) c99c17c — 사용자 제공 이미지에서 옮겨적은 episode/context 길이 값(EgoMemReason 25.9h, MemoryBench ≈15.5s, RoboMME ≈24s, RoboMemArena ≈54s, FindingDory 400–3,500 steps, STARBench 3,600–9,000 steps, 우리 벤치 8.6min)을 새 열로 추가. (2) 3f6a9fc — EgoMemReason 행 삭제(스케일이 이질적인 backtracking time이라 판단) 및 FindingDory/STARBench의 step-range 값도 제거(스텝 단위라 시간 단위와 직접 비교 불가), 캡션 각주 3개→1개로 단순화. (3) bff8c85 — 남은 수치에서 근사(≈) 기호 일괄 제거.

1차(c99c17c): +EgoMemReason 25.9h / MemoryBench ≈15.5s / RoboMME ≈24s / RoboMemArena ≈54s / FindingDory 400-3,500 steps / STARBench 3,600-9,000 steps / 우리 벤치 8.6min 2차(3f6a9fc): -EgoMemReason 행, -FindingDory/STARBench step-range 값 (직접 비교 불가 판단) 3차(bff8c85): ≈15.5s→15.5s, ≈24s→24s, ≈54s→54s (근사 기호 제거)

3 결과 (수치)

BenchmarkEpisode/context length비고
MemoryBench15.5 s최단
RoboMME24 s
RoboMemArena54 s
FindingDory—step 단위, 직접 비교 불가로 공란 유지
STARBench—step 단위, 직접 비교 불가로 공란 유지
LongAct—검증 대기(pending)
우리 벤치 (v1.1)8.6 min (=516 s)MemoryBench 대비 약 33배
스케일 격차 가시화: 초 단위 스케일의 기존 벤치(15.5~54s) 대비 우리 벤치(8.6분=516s)가 약 10~34배 긴 컨텍스트를 다룬다는 것이 열 하나로 드러난다.
공란 처리: FindingDory/STARBench는 스텝 단위라 시간 단위와 직접 비교 불가로 판단해 값 없이 공란 유지(단순 삭제가 아니라 "비교 불가"를 명시적으로 표현).

4 Takeaway

의미

관련 연구 비교 표에 스케일 수치를 추가하며 "직접 비교 가능한 단위(시간)만 남기고 비교 불가능한 단위(스텝, backtracking time)는 과감히 제거"하는 편집 판단이 3커밋 만에 정착됐다 — 첫 시도(모든 값 포함 + 근사 기호 + 각주 3개)에서 두 번째 시도(이질적 값 제거)로 빠르게 수렴했다.

5 Next Steps

미해결 한계

LongAct 길이 값은 여전히 \ph{}(pending, 검증 대기)로 비어 있음 — 검증 완료 시 채워 넣어야 한다.

다음 작업

FindingDory/STARBench를 스텝 수 대신 근사 시간으로 환산해(프레임레이트 가정) 표에 포함시킬지 여부 결정. LongAct 길이 값 검증 완료 후 반영.