scene_bench

**Scene-level long-term memory 벤치마크**를 새로 만든다. "로봇이 한 집에서 여러 날 살면서 쌓은

68 reports 3 weeks

260824 — 260830 15 reports · 17 tables 15

scene_bench — 온라인 스모크 restore v18 mixv2(링+정면)

온라인 실행 트랙 restore v18 mixv2(링+정면) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v15 공식 Pi0-DROID

온라인 실행 트랙 restore v15 공식 Pi0-DROID (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v17 Cosmos(접근 링)

온라인 실행 트랙 restore v17 Cosmos(접근 링) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v17 mixv2(접근 링)

온라인 실행 트랙 restore v17 mixv2(접근 링) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v18 flagship(링+정면)

온라인 실행 트랙 restore v18 flagship(링+정면) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 find ctx3 v16 플래그십

온라인 실행 트랙 find ctx3 v16 플래그십 (textlog@flash, 11플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✓ / v1_val_144__2 ✗ / v1_val_144__2 ✓ / v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗ / val_101__1 ✗ / val_101__1 ✗ / val_101__1 ✓ / val_101__1 ✓

scene_bench — 온라인 스모크 restore v18 cosmos(링+정면)

온라인 실행 트랙 restore v18 cosmos(링+정면) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✓ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v16 플래그십 MolmoBot-DROID

온라인 실행 트랙 restore v16 플래그십 MolmoBot-DROID (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v17 플래그십(접근 링)

온라인 실행 트랙 restore v17 플래그십(접근 링) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 공식 MolmoBot(Pi0-DROID·플래그십) vs mixv2

공식 MolmoBot 두 체크포인트를 VLA 슬롯에 교체 시험. 공식 Pi0-DROID '무동작'의 원인은 초기 팔 자세 분포(bench=home+U(±0.26)·손목 U(±π/2) vs 우리 노이즈 0 home) — 렌더러 아님. 수정 후 공식 Pi0: restore 0/3·ctx3 3/11(mixv2 bench 4/11). 플래그십 MolmoBot-DROID(리더보드 1위 모델): pick 5/12(42%, 최고), VLA place 1/6(낙하 4), restore 0/3, ctx3 4/11. 침대·조리대 가장자리 낙하가 공통 병목.

ICLR 2027 논문 계획 — 구성·내용·Placeholder 설계

ICLR 2027 논문 계획 v3 — 가제 \1 확정, STARBench=arXiv 2511.14004 해소, RoboCasa v1 제외, ICLR 규칙 표(9p 상한·AI use statement 필수); Intro 문안 반영 + routine 완성태 + PH 4종

계획 v3 승인 후 초안 집필

논문 초안 v1 — 전 섹션 집필 + Overleaf push

논문 초안 v1 전 섹션 집필 → Overleaf push(\1) — 실측 표 4개(S3/v1/online/cap-8) + PH 표 2개, 컴파일 클린 12p, AI use statement 포함

실행 SR 채점 규칙 변경 — 바닥에 떨어진 답은 reach-only

실행 SR 채점을 답 단위로 바꿔 바닥에 떨어진 답은 도달(reach-only)만으로 충족시킴 — oracle-loc SR_C 0.647→0.658(+0.011), 순위 불변, 옛 전부-lift 값은 \1로 병기. 온라인 v5 bowls는 이 규칙으로 ✗→✓ 재판정.

온라인 restore 실행 — 하네스 place 프리미티브 구현 (v1→v10)

온라인 restore(\1) 3플랜에서 VLA(π0.5) 내려놓기가 구조적으로 실패(누적 1/12)함을 확인하고 하네스 place 프리미티브(레이캐스트 평지 안착)를 신규 구현 — v1→v10 반복 끝에 최종 2/3, 남은 실패는 VLA pick(정책 ceiling)뿐. 판정 로직 버그 3건 전역 수정.

tagmem S3 대표본 검증 (353질의) — 소표본 주장 정정

tagmem을 353질의 대표본(기존 소표본 n=18~46 대비)으로 재검증 — 종합 3위(vis>frames>tagmem>textlog>rf-v2>blind), 비오라클 1위 층은 바닥(0.40/0.40)뿐, v1이 주장한 \1과 \1은 소표본 노이즈로 정정됨. 이미지 cap 16→8은 distractor 층에서만 -0.06, 사건 기억은 무손실.

260817 — 260823 41 reports · 153 tables 41

scene_bench — Full online eval (5전략 × flash)

Full online 실행 SR(S3 find 353질의 × 전략 × flash, 메모리 시드 + VLM 매 턴 판단 + π0.5 실조작): frames-uniform: 0.436 (n=353) · rollforward-vis-pure: 0.433 (n=353) · rollforward-v2: 0.312 (n=353) · textlog: 0.385 (n=353) · blind: 0.289 (n=353). 분모 = 전체 질의; 메모리 신호 = 셀 − blind(탐색 몫 제거)

tagmem 캠페인 통합 — 오답 해부

tagmem 튜닝 캠페인 통합: 확정 이득 2개 + 수렴 판정. 남은 오답 6행 전수 해부(실물 이미지·타임라인·reasoning·원인) — 지각 공통 3 · 거짓 저장 1 · 인스턴스 2

scene_bench — Cosmos3 DROID vs π0.5 (restore, VLA place)

저수준 VLA를 π0.5→Cosmos3-Nano-Policy-DROID(zero-shot)로 바꾼 restore 3플랜 비교(v11~v14b): Cosmos는 든 채 내려놓기를 엄격 판정 4/13 성공(π0.5 0/4~0/7), 평면 상판만 · 침대 0/7 · restore SR은 둘 다 0/3; 놓임 판정 2단 수정 + navigate 도착 거리(침대 0.85→0.3 m) 수정

scene_bench — 온라인 스모크 restore v12 — Cosmos3-Nano-Policy-DROID (VLA pick+place; 판정 수정 1차)

온라인 실행 트랙 restore v12 — Cosmos3-Nano-Policy-DROID (VLA pick+place; 판정 수정 1차) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✓

scene_bench — 온라인 스모크 restore v14b — Cosmos3-Nano-Policy-DROID (VLA pick+place, nav 수정 + 놓음=손 뗌 판정)

온라인 실행 트랙 restore v14b — Cosmos3-Nano-Policy-DROID (VLA pick+place, nav 수정 + 놓음=손 뗌 판정) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v14 — π0.5 mixv2 (VLA pick+place, nav 수정 + 놓음=손 뗌 판정)

온라인 실행 트랙 restore v14 — π0.5 mixv2 (VLA pick+place, nav 수정 + 놓음=손 뗌 판정) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v11 — Cosmos3-Nano-Policy-DROID (VLA pick+place, zero-shot)

온라인 실행 트랙 restore v11 — Cosmos3-Nano-Policy-DROID (VLA pick+place, zero-shot) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

scene_bench — 온라인 스모크 restore v13 — Cosmos3-Nano-Policy-DROID (VLA pick+place; 놓음 = 손을 뗀 지지)

온라인 실행 트랙 restore v13 — Cosmos3-Nano-Policy-DROID (VLA pick+place; 놓음 = 손을 뗀 지지) (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗

tagmem 파이프라인 실물

tagmem 전 파이프라인 실물 공개 — 저장 그래프(프레임 썸네일)·질의 태그·검색 경로·읽은 entry·reasoning 전문, 36질의 × 2모델

tagmem (ours) 1차 실측 — 검색 레벨 스윕

ours 태그 그래프 메모리: 검색미스 0 (해법 사다리 검증), flash 비오라클 최악-케이스 최강 min 0.36, 읽기량 ~8 entry. 병목은 표면 접지·거짓 저장으로 이동

scene_bench — 온라인 스모크 v5

온라인 실행 트랙 스모크 v5 (textlog@flash, 3플랜) 턴별 관측·노트·클립. val_101__1 ✓ / val_11__2 ✗ / val_379__0 ✓

scene_bench — 온라인 스모크 ctx-v1_val_144__2

온라인 실행 트랙 ctx-v1_val_144__2 (textlog@flash, 7플랜) 턴별 관측·노트·클립. v1_val_144__2 ✓ / v1_val_144__2 ✗ / v1_val_144__2 ✓ / v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✗ / v1_val_144__2 ✓

scene_bench — 온라인 스모크 restore-v10

온라인 실행 트랙 restore-v10 (textlog@flash, 3플랜) 턴별 관측·노트·클립. v1_val_144__2 ✗ / v1_val_144__2 ✓ / v1_val_144__2 ✓

scene_bench — 온라인 스모크 ctx-val_101__1

온라인 실행 트랙 ctx-val_101__1 (textlog@flash, 4플랜) 턴별 관측·노트·클립. val_101__1 ✗ / val_101__1 ✓ / val_101__1 ✗ / val_101__1 ✓

scene_bench — E2E 실행 SR 결과

VLM eval 답 재생 실행 SR: oracle-loc SR_B 0.83 / SR_C 0.24, P(lift|reached) 0.17; 셀 격차는 Stage B(위치 정확도+접지)에서, Stage C는 정책 ceiling 공통. Stage C 81 플랜 실행.

scene_bench — E2E 실행 SR 결과

VLM eval 답 재생 실행 SR: oracle-loc SR_B 0.83 / SR_C 0.66, P(lift|reached) 0.75; 셀 격차는 Stage B(위치 정확도+접지)에서, Stage C는 정책 ceiling 공통. Stage C 354 플랜 실행.

DATASET_sample_v1 전수 측정 — 영상·메모리·답 전체

v1 3가족(find/restore/resume) 36질의 × 5전략 × 2모델 전수 — 발화=명세/메모리=이력 분리 검증, blind remaining 0.00, textlog 오라클 만점대. 전 질의 카드에 영상·메모리·output 원문 동봉

scene_bench — 온라인 스모크 v3

온라인 실행 트랙 스모크 v3 (textlog@flash, 3플랜) 턴별 관측·노트·클립. val_101__1 ✓ / val_11__2 ✗ / val_379__0 ✗

scene_bench — 온라인 스모크 v4

온라인 실행 트랙 스모크 v4 (textlog@flash, 3플랜) 턴별 관측·노트·클립. val_101__1 ✗ / val_11__2 ✗ / val_379__0 ✗

scene_bench — 온라인 1차 3플랜 턴 로그

온라인 실행 트랙 1차 3플랜(textlog@flash): remote single SUCCESS(3턴), spatulas multi FAIL(1개 든 뒤 done — textlog에 두 번째 없음), bowls multi FAIL(#1 든 채 이동 → #2 pick 12턴 5~14스텝 조기종료(VLA done, 손에 든 bowl 타깃) + VLM 허위 완료 주장). 턴별 관측/노트/클립 전부 수록.

DATASET_sample_v1 × VLM eval 하네스 호환성

신규 3가족 판정: \1 거의 그대로(어댑터) · \1 계약 확장(from/to 이중 기억) · \1 신규 러너(프레임컷) — 전수 측정 ~$5-10

scene_bench — Online 실행 트랙 설계·계획

온라인 실행 트랙 설계 — 컨텍스트 메모리를 가진 VLM이 매 턴 (프레임+관측+메모리)→(subgoal+노트) 1콜, N14 통합 턴 재사용 + navigate(room,surface) 접지 v3 + 전략별 메모리 시딩 + GT any-of 판정; 1차 80질의×3전략×flash=240 에피소드(≈36 GPU-h, VLM $20–50), 재생 트랙과 쌍 Δ. 태스크 T1–T6, 결정 포인트 5개 피드백 대기.

scene_bench — 온라인 메모리 v2 재설계 · 구현 · 렌더링 버그 2건 (Task N14)

사용자 지적 3건(GT 누출·영상 오류·노트/서브골 분리)에서 온라인 메모리 v2를 재설계·구현 — \1(이름 기반 그라운딩)+\1(1콜 통합) 신설, 텔레포트 렌더 정지 버그(distinct frame 1/12→8/12)와 zed2 비-로봇시점 버그(diff 0.00→34~47) 발견·수정. 스모크에서 과제를 탐색→온라인 제어로 재정정하고 카메라를 bench_exo_L로 교체(팔 가시성 확보) — 이 토대 위에서 실조작 검증(job 87852)까지 완주(별도 리포트).

scene_bench — E2E 실행 SR 파이프라인 계획

VLM eval 답(S3)을 벤치마크 종료 상태로 복원한 씬에서 재생해 Tier B(접지+도달)·Tier C(VLA 실조작) SR을 뽑는 파이프라인 설계 확정 — VLM 재호출 0, 고유 플랜 1,121+oracle 353, 조작 2.5 min/회 실측 → Stage C ≈45 GPU-h. 결정 4건(B-통과만/zed2/600×2/S3 353) 확정, 구현 계획 8태스크 작성.

온라인 2-stage 실조작 — VLM 계획 · VLA 조작 · VLM 기억

실제 VLA를 붙인 온라인 2-stage 제어 — VLM이 subgoal을 내고, VLA가 600스텝 조작하고, VLM이 프레임만 보고 실패를 기억한다. 조작 8/8 실패(knife)가 현재 병목

scene_bench — S2 전량측정 계획 & 범위 교정

S2 전량측정 계획(759질의, \1) 수립 중 사용자가 방향을 \1으로 명시 교정 — 전략 필터링·하이브리드 신설 보류, rollforward-v2도 유지. 예산 상한(\1) 때문에 같은 날 353질의 \1 budget sweep(S3)으로 축소 실행됐고, 계획에 남긴 하네스 작업 중 방 이름 조인만 당일 완료(38→6건).

scene_bench — 예산 스윕 (353질의 × 5전략 × 2모델)

예산 표본 353질의(전체 759의 47%, 분포 일치) 5전략 × 2모델 측정 — 총점은 비슷하나 구성이 정반대: textlog는 로봇이 옮긴 물체 0.78·바닥 0.97, 시각은 지나치며 본 물체 0.58. blind 0.204는 상식 바닥선

scene_bench — S1: v3 계약 5전략 측정

v3 계약(누출 제거) 첫 측정 — blind 0.0으로 누출 제거 확인. 텍스트/시각 메모리가 질의 종류별로 정반대 강점(textlog는 옮긴 물체 0.50·안 건드린 물체 0.00, vis-pure는 0.17·0.92). 테스트가 우리 쪽 결함 2건(textlog 생성규칙·floor 채점축)을 적발

scene_bench — E6 평가 설계 v2 (누출 제거)

E6 설계 v2 — 후보 리스트가 정답을 66.6% 누출(find_distractor는 100%)함을 실측하고 전면 재설계. 에피소드별 물체 리스트를 폐기하고 데이터셋 전역 어휘(물체 57 / 방 4+floor / 표면 15)만 제공, 답을 '어디에'로 전환. 프롬프트 전문 수록

설계 v2 승인분의 실제 구현 (plan → progress)

scene_bench — E6 v3 eval 파이프라인 구현 (전역 어휘 계약)

E6 설계 v2(후보 리스트 66.6% 누출 발견 후 재설계) 승인분을 실제 코드로 구현 완료 — 전역 어휘(물체 57/방 4+floor/표면 15) 고정, \1 회귀 가드, \1 답 계약 + 정규화 파서, 체크포인트 러너까지 13파일 +773/-172줄, v3 계약 테스트 14개 신설.

scene_bench — HF 데이터셋 v0.7 파악 (scene-mem-benchmark)

HF 정식 릴리즈 파악 — 153 eps/79채/759 질의(전부 채점 가능), body-id 채점·multi-step·misplaced/concealment 축 신설. 260813 검증에서 지적한 버그 전부 생성 측 수정 확인. 로더 무수정 호환, 어댑테이션 5건(E6) 정의

scene_bench — 다중 씬 ckpt 매트릭스 (part1 vs aux-mix)

다중 씬(5채) ckpt 매트릭스 — N6의 'part1 무모션' 결론 기각 — 성공 5건이 결정적 증거 (단 저모션 2셀은 렌더 프록시로 판정 불가, 액션 로그 필요). SR은 part1 3/10 vs aux mix 2/10로 aux pick 개선 미확인 (n=10, 과제 랜덤). worker EGL(T4) 컨테이너 경로 첫 검증

다중 씬 매트릭스의 후속 — 시드 고정 쌍 비교로 교란 제거

ckpt 쌍 비교 — aux 재학습

시드 고정으로 30/30 동일 과제를 푼 첫 ckpt 쌍 비교: aux 재학습 mix가 pick 8/15→13/15 (정면 대결 5승 0패), pnp는 무승부(4-6). aux의 pick 개선 목표 달성 확인

n=1/셀 방향성 한계(노이즈 교란)를 해소할 재현성 인프라

scene_bench — exp_matrix 결정적 과제 샘플링 (--seed-base, Task N11)

다중 씬 ckpt 매트릭스 비교가 unseeded 과제 샘플링 때문에 노이즈로 교란되던 문제를 \1로 해결 — (house,skill,idx)마다 crc32 기반 결정적 시드를 TaskSampler 생성 직전에 주입, 동일 시드 2회 호출 시 동일 (pickup,receptacle) 쌍 재현을 CPU-only로 검증. exp_matrix.py +72/-5줄, 테스트 +106줄.

N7 매트릭스의 후속 — 카메라 학습분포 정렬 A/B + 모션 판정 방법론 전환

카메라 A/B — zed2 vs shoulder

카메라 A/B (학습분포 zed2 vs 어깨캠, part1 × 5씬 × 2스킬 × 2캠 = 20런): zed2 승리 — pnp 3/5 vs 1/5가 결정타. qpos 로깅 도입으로 '동결' 논쟁 종결(20/20 활동, 실패는 그리퍼 전이 10~38회의 적극적 실패). N7 급등 조사: 설정 버그 없음, 과제 재샘플 노이즈

260810 — 260816 12 reports · 102 tables 12

scene_bench — read-phase 메모리 평가 통합 리포트

10전략 통합: 오라클 textlog 0.833에 flash는 이미지 메모리(vis-pure/hybrid·frames-place)로, sonnet은 후보 보조 자필 노트(rollforward-v2)로 각각 동률 도달 — 기록 매체 선호가 모델별로 완전 분기. 시간 실측·대량 측정 스케일 추정 포함

Online 2-Stage 파이프라인 — 모델 I/O 명세 & 실측 예시

Online 2-stage 파이프라인의 두 모델(VLM planner / \1-FT VLA) I/O 계약을 T3 실측 예시(프레임·프롬프트·JSON 출력 원문)로 정리 — T4 진입 전 레퍼런스

I/O 명세 확정 직후, 실데이터 도착에 따른 gap 조사

온라인 하네스 vs 실데이터 — 임의 결정 전수 대조

T1~T4 하네스의 임의 결정 12건 vs 실데이터(\1) 전수 대조 — 유지 5 / 변경 5(전부 어댑터 계층) / 결정필요 1(mobile 11-dim, N0 텔레포트 추천)

Scene-Level Long-Term Memory Benchmark — 설계안 v0

Scene-level long-term memory 벤치마크 설계안 v0 — MolmoSpaces-Bench 8개 base task를 subgoal 문법으로 그대로 재사용하고 그 위에 '에피소드 간 지속 상태 + 관측되지 않은 세계 변화'를 얹는다. Entity/Event/Behavior × Horizon × Step의 3축 큐브, household 사례 10개 완본, VLM↔VLA I/O 계약, 학습 필요 컴포넌트 판정, 네비게이션 3단 설계까지.

전체 설계안의 요약 + 단일 에피소드/마무리형 구조로 개정

scene_bench — 핵심 요약 v3 (마무리형 + 자산 실측)

scene_bench 요약본 v3 — '정리해줘'를 전량 수행이 아닌 '부분 완료 상태에서의 마무리'로 재정의(길이 1/3, 메모리 필수화, 채점 이진화). 자산 실측으로 가능/불가 확정: 상태변화 없음→청소는 전부 재배치, 세탁기·쓰레기통·커피머신은 관절 없어 task 불가, 7개 타입은 관절판/강체판 공존.

Auto-generated — python build_index.py — 2026-08-25 06:12