2026-08-21 — Experiment
E2E 실행 SR 결과 — VLM eval 답 재생: Stage B(접지·도달) → Stage C(VLA 실조작)
scene_bench | 353질의 × 5전략 × 2모델 + oracle-loc · 고유 플랜 1,216 · Stage C 354 플랜 실행 · VLM 재호출 0
TL;DR
- 하네스 ceiling(oracle-loc): 접지·도달 SR_B 0.830(플랜 단위 v1 222/353 → v2 285/353 → v3 289/353), 조작 포함 SR_C 0.658, P(lift|reached, lifted-only) 0.754 (n=244) — 조작이 병목.
- 채점 규칙(260822, 사용자 결정): 답별 채점 — 바닥에 떨어진 답(on_floor)은 도달(≤0.85 m)로 충족, 나머지 답은 lift. 옛 "전부 lift" 규칙 값은 각 셀 옆 (all-lift)로 병기; 셀별 Δ ≤ +0.011(oracle 0.647→0.658, 바닥 층 0.80→0.93). 근거: 바닥 물체(val_379__0 bowl)는 oracle 접근 0.46 m에서도 VLA 2×600스텝 실패.
- 셀 격자: SR_C 상위 = oracle-loc 0.658, rollforward-vis-pure@gemini-3.6-flash 0.477, frames-uniform@gemini-3.6-flash 0.463. 기권(abstain)은 0점으로 집계(A5 원칙과 별개로 실행 SR이므로).
- 분해식 SR_C = P(reached) × P(lift|reached): 셀 간 차이는 거의 전부 P(reached)(= 메모리 답의 위치 정확도 + 접지)에서 나고, P(lift|reached)는 ceiling 공통.
- Stage C 실행 354 플랜, 성공 211, 평균 236s/플랜(sparse).
0.83
oracle SR_B
0.66
oracle SR_C
0.75
P(lift|reached)
354
Stage C 플랜
1 무엇을 어떻게 쟀나
VLM eval(S3) 답 {category, room, surface}을 재생: 벤치마크 종료 상태(final_state.npz 25 pose + 로봇 base) 복원 → 답의 (room, surface)를 접지 v3(답 granularity까지 메모리, 그 가구 위 인스턴스 찾기는 하네스, 후보 ≤2) → 텔레포트 → Stage B reached(GT ≤0.85 m) → Stage C VLA(mixv2-20k, zed2 입력) "Pick up the {category}" 600스텝 × 조건부 재시도 2, 판정 GT body any-of lift(프로브 실행 전 생성). 집계는 질의 단위(기권·미접지·미도달 = 0), reached_only 질의는 Stage B가 최종.
접지 규칙 v1→v3 진화(oracle 0.63→0.82)와 Stage C 재시도·프로브 버그 수정(스모크에서 발견)은
claude/260821/exp-e2e_exec_stage_b.md, exp-e2e_exec_stage_c.md 참조.2 셀별 SR_B / SR_C (질의 단위, n=gradable)
| cell | n | abstain | SR_B | SR_C | P(lift|reached, lifted-only) | n_lift_eval |
|---|---|---|---|---|---|---|
| oracle-loc | 348 | 0.00 | 0.830 | 0.658 (all-lift 0.655) | 0.754 | 244 |
| rollforward-vis-pure@gemini-3.6-flash | 348 | 0.02 | 0.612 | 0.477 (all-lift 0.477) | 0.749 | 187 |
| frames-uniform@gemini-3.6-flash | 348 | 0.03 | 0.589 | 0.463 (all-lift 0.460) | 0.749 | 175 |
| rollforward-vis-pure@claude-sonnet-5 | 348 | 0.05 | 0.379 | 0.313 (all-lift 0.313) | 0.803 | 117 |
| textlog@gemini-3.6-flash | 348 | 0.38 | 0.405 | 0.296 (all-lift 0.293) | 0.683 | 120 |
| frames-uniform@claude-sonnet-5 | 348 | 0.05 | 0.362 | 0.279 (all-lift 0.279) | 0.746 | 114 |
| textlog@claude-sonnet-5 | 348 | 0.41 | 0.374 | 0.270 (all-lift 0.267) | 0.673 | 110 |
| rollforward-v2@claude-sonnet-5 | 348 | 0.32 | 0.296 | 0.250 (all-lift 0.250) | 0.816 | 87 |
| rollforward-v2@gemini-3.6-flash | 348 | 0.37 | 0.244 | 0.175 (all-lift 0.172) | 0.667 | 72 |
| blind@gemini-3.6-flash | 348 | 0.41 | 0.216 | 0.164 (all-lift 0.164) | 0.714 | 63 |
| blind@claude-sonnet-5 | 348 | 0.53 | 0.152 | 0.124 (all-lift 0.124) | 0.792 | 48 |
플랜 단위 Stage C 성공(소스별): blind@claude-sonnet-5 38/51, blind@gemini-3.6-flash 45/65, frames-uniform@claude-sonnet-5 85/121, frames-uniform@gemini-3.6-flash 131/189, oracle-loc 183/297, rollforward-v2@claude-sonnet-5 72/99, rollforward-v2@gemini-3.6-flash 48/80, rollforward-vis-pure@claude-sonnet-5 94/126, rollforward-vis-pure@gemini-3.6-flash 141/200, textlog@claude-sonnet-5 74/117, textlog@gemini-3.6-flash 82/130
3 층별 분해 (SR_B / SR_C)
질의 종류
| cell | find_distractor | find_target |
|---|---|---|
| oracle-loc | 0.91 / 0.75 (n=173) | 0.75 / 0.57 (n=175) |
| rollforward-vis-pure@gemini-3.6-flash | 0.71 / 0.60 (n=165) | 0.55 / 0.38 (n=175) |
| frames-uniform@gemini-3.6-flash | 0.65 / 0.54 (n=165) | 0.57 / 0.42 (n=172) |
| rollforward-vis-pure@claude-sonnet-5 | 0.58 / 0.50 (n=157) | 0.24 / 0.17 (n=172) |
| textlog@gemini-3.6-flash | 0.62 / 0.50 (n=42) | 0.66 / 0.47 (n=174) |
| frames-uniform@claude-sonnet-5 | 0.50 / 0.43 (n=160) | 0.27 / 0.16 (n=170) |
| textlog@claude-sonnet-5 | 0.50 / 0.38 (n=32) | 0.66 / 0.47 (n=174) |
| rollforward-v2@claude-sonnet-5 | 0.54 / 0.48 (n=98) | 0.36 / 0.29 (n=139) |
| rollforward-v2@gemini-3.6-flash | 0.37 / 0.28 (n=67) | 0.39 / 0.27 (n=153) |
| blind@gemini-3.6-flash | 0.42 / 0.34 (n=97) | 0.31 / 0.22 (n=110) |
| blind@claude-sonnet-5 | 0.41 / 0.33 (n=76) | 0.25 / 0.20 (n=88) |
채점 방식
| cell | lifted | reached_only |
|---|---|---|
| oracle-loc | 0.84 / 0.63 (n=290) | 0.78 / 0.78 (n=58) |
| rollforward-vis-pure@gemini-3.6-flash | 0.66 / 0.50 (n=282) | 0.45 / 0.45 (n=58) |
| frames-uniform@gemini-3.6-flash | 0.62 / 0.47 (n=280) | 0.53 / 0.53 (n=57) |
| rollforward-vis-pure@claude-sonnet-5 | 0.43 / 0.34 (n=274) | 0.27 / 0.27 (n=55) |
| textlog@gemini-3.6-flash | 0.73 / 0.50 (n=165) | 0.41 / 0.41 (n=51) |
| frames-uniform@claude-sonnet-5 | 0.41 / 0.31 (n=275) | 0.22 / 0.22 (n=55) |
| textlog@claude-sonnet-5 | 0.71 / 0.47 (n=156) | 0.40 / 0.40 (n=50) |
| rollforward-v2@claude-sonnet-5 | 0.46 / 0.37 (n=191) | 0.35 / 0.35 (n=46) |
| rollforward-v2@gemini-3.6-flash | 0.42 / 0.28 (n=170) | 0.26 / 0.26 (n=50) |
| blind@gemini-3.6-flash | 0.38 / 0.27 (n=166) | 0.29 / 0.29 (n=41) |
| blind@claude-sonnet-5 | 0.36 / 0.28 (n=135) | 0.17 / 0.17 (n=29) |
단일/다중
| cell | multi | single |
|---|---|---|
| oracle-loc | 0.77 / 0.57 (n=35) | 0.84 / 0.67 (n=313) |
| rollforward-vis-pure@gemini-3.6-flash | 0.30 / 0.12 (n=33) | 0.66 / 0.53 (n=307) |
| frames-uniform@gemini-3.6-flash | 0.24 / 0.18 (n=33) | 0.65 / 0.51 (n=304) |
| rollforward-vis-pure@claude-sonnet-5 | 0.10 / 0.06 (n=31) | 0.43 / 0.36 (n=298) |
| textlog@gemini-3.6-flash | 0.63 / 0.41 (n=27) | 0.66 / 0.49 (n=189) |
| frames-uniform@claude-sonnet-5 | 0.06 / 0.03 (n=34) | 0.42 / 0.32 (n=296) |
| textlog@claude-sonnet-5 | 0.65 / 0.42 (n=26) | 0.63 / 0.46 (n=180) |
| rollforward-v2@claude-sonnet-5 | 0.19 / 0.12 (n=26) | 0.46 / 0.40 (n=211) |
| rollforward-v2@gemini-3.6-flash | 0.25 / 0.14 (n=28) | 0.41 / 0.30 (n=192) |
| blind@gemini-3.6-flash | 0.14 / 0.05 (n=22) | 0.39 / 0.30 (n=185) |
| blind@claude-sonnet-5 | 0.14 / 0.07 (n=14) | 0.34 / 0.28 (n=150) |
바닥 여부
| cell | floor | not_floor |
|---|---|---|
| oracle-loc | 0.93 / 0.93 (n=30) | 0.82 / 0.63 (n=318) |
| rollforward-vis-pure@gemini-3.6-flash | 0.30 / 0.30 (n=30) | 0.66 / 0.51 (n=310) |
| frames-uniform@gemini-3.6-flash | 0.43 / 0.43 (n=30) | 0.63 / 0.48 (n=307) |
| rollforward-vis-pure@claude-sonnet-5 | 0.07 / 0.07 (n=29) | 0.43 / 0.36 (n=300) |
| textlog@gemini-3.6-flash | 0.40 / 0.40 (n=30) | 0.69 / 0.49 (n=186) |
| frames-uniform@claude-sonnet-5 | 0.03 / 0.03 (n=30) | 0.42 / 0.32 (n=300) |
| textlog@claude-sonnet-5 | 0.40 / 0.40 (n=30) | 0.67 / 0.47 (n=176) |
| rollforward-v2@claude-sonnet-5 | 0.24 / 0.24 (n=25) | 0.46 / 0.38 (n=212) |
| rollforward-v2@gemini-3.6-flash | 0.30 / 0.30 (n=30) | 0.40 / 0.27 (n=190) |
| blind@gemini-3.6-flash | 0.10 / 0.10 (n=20) | 0.39 / 0.29 (n=187) |
| blind@claude-sonnet-5 | 0.00 / 0.00 (n=12) | 0.35 / 0.28 (n=152) |
쌍둥이 인접
| cell | False | True |
|---|---|---|
| oracle-loc | 0.81 / 0.65 (n=304) | 0.98 / 0.68 (n=44) |
| rollforward-vis-pure@gemini-3.6-flash | 0.62 / 0.49 (n=298) | 0.67 / 0.48 (n=42) |
| frames-uniform@gemini-3.6-flash | 0.59 / 0.47 (n=295) | 0.76 / 0.50 (n=42) |
| rollforward-vis-pure@claude-sonnet-5 | 0.38 / 0.32 (n=287) | 0.52 / 0.40 (n=42) |
| textlog@gemini-3.6-flash | 0.62 / 0.47 (n=177) | 0.82 / 0.51 (n=39) |
| frames-uniform@claude-sonnet-5 | 0.35 / 0.28 (n=287) | 0.58 / 0.37 (n=43) |
| textlog@claude-sonnet-5 | 0.58 / 0.44 (n=169) | 0.86 / 0.54 (n=37) |
| rollforward-v2@claude-sonnet-5 | 0.41 / 0.35 (n=203) | 0.59 / 0.47 (n=34) |
| rollforward-v2@gemini-3.6-flash | 0.36 / 0.28 (n=180) | 0.53 / 0.25 (n=40) |
| blind@gemini-3.6-flash | 0.34 / 0.27 (n=175) | 0.47 / 0.28 (n=32) |
| blind@claude-sonnet-5 | 0.30 / 0.26 (n=132) | 0.41 / 0.28 (n=32) |
4 실패 사례 (oracle-loc 기준 — 메모리가 아니라 하네스/정책 한계)
클립·키프레임은 기록 카메라(bench_exo_L) 시점이며 정책이 실제로 보는 입력(zed2 랜덤 외부 카메라 + wrist)과 다르다. 관찰된 실패 유형: ① 베이스가 물체에 너무 가깝게 배치(pick 접근 반경 0–0.7 m, 학습 샘플러 기본값 — 다음 라운드 최소 반경 후보) ② 정책이 카테고리 단어를 혼동(예: ladle → bread) ③ 600스텝 내 파지 실패. 접지(방·가구·인스턴스)는 위 사례 모두에서 맞았다.
val_144__0 · Pick up the apple I moved earlier · sources oracle-loc, blind@gemini-3.6-flash, textlog@gemini-3.6-flash…
FAIL · 515s · sel0_a0(apple_ff93afa9f54b): t0:✗600, t1:✗600
FAIL · 515s · sel0_a0(apple_ff93afa9f54b): t0:✗600, t1:✗600
첫 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
val_197__1 · Pick up the ladle I moved earlier · sources oracle-loc, textlog@gemini-3.6-flash, frames-uniform@gemini-3.6-flash…
FAIL · 515s · sel0_a0(ladle_efa098c0c2ee): t0:✗600 | sel0_a1(ladle_efa098c0c2ee): t0:✗600
FAIL · 515s · sel0_a0(ladle_efa098c0c2ee): t0:✗600 | sel0_a1(ladle_efa098c0c2ee): t0:✗600
첫 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
val_290__2 · Pick up the bowl I moved earlier · sources oracle-loc
FAIL · 474s · sel0_a0(compactdisk_6ac9e5): t0:✗600 | sel0_a1(chestofdrawers_6e3): t0:✗600
FAIL · 474s · sel0_a0(compactdisk_6ac9e5): t0:✗600 | sel0_a1(chestofdrawers_6e3): t0:✗600
첫 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
val_379__0 · Pick up the vase I moved earlier · sources oracle-loc
FAIL · 523s · sel0_a0(vase_c8834aef9cc9a): t0:✗600, t1:✗600
FAIL · 523s · sel0_a0(vase_c8834aef9cc9a): t0:✗600, t1:✗600
첫 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
성공 사례
val_101__1 · Pick up the remote control I moved earlier · sources oracle-loc, textlog@gemini-3.6-flash, rollforward-v2@gemini-3.6-flash…
SUCCESS · 345s · sel0_a0(remotecontrol_dbbd): t0:✗600 | sel0_a1(remotecontrol_dbbd): t0:✓203
SUCCESS · 345s · sel0_a0(remotecontrol_dbbd): t0:✗600 | sel0_a1(remotecontrol_dbbd): t0:✓203
마지막 성공 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
val_11__2 · Pick up the remote control I moved earlier · sources oracle-loc, textlog@gemini-3.6-flash, frames-uniform@gemini-3.6-flash…
SUCCESS · 37s · sel0_a0(remotecontrol_dbbd): t0:✓88
SUCCESS · 37s · sel0_a0(remotecontrol_dbbd): t0:✓88
마지막 성공 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
val_125__0 · Pick up the fork · sources oracle-loc, frames-uniform@gemini-3.6-flash, rollforward-vis-pure@gemini-3.6-flash…
SUCCESS · 21s · sel0_a0(fork_a17d780ca6a79): t0:✓45
SUCCESS · 21s · sel0_a0(fork_a17d780ca6a79): t0:✓45
마지막 성공 pick 키프레임 4장 (기록 카메라 bench_exo_L — 정책 입력 zed2 뷰와 다름)
5 Takeaway / Next
- 메모리 전략 격차는 Stage B(위치 정확도+접지)에서 갈리고, Stage C는 정책 ceiling이 공통으로 누른다 → 리더보드는 SR_B·SR_C·P(lift|reached)를 나란히 보고.
- 다음: ① online 트랙(매 턴 VLM이 subgoal+메모리 갱신; 설계 `claude/260821/plan-online_exec_track.md`) ② 정책 교체 zero-shot 비교(Cosmos 3-nano-policy-droid) ③ 접지 room-mode 후보 순서(카테고리 인스턴스 우선) v4.