실패 387칸 중 311칸(80%)이 파지 실패 — 로봇이 물체 앞까지 갔는데 못 든다. 메모리 문제(GT 근처를 못 찾음)는 13%뿐이다.
영상이 있는 파지 실패 273칸: 중앙값 16회 시도, 최소 접근거리 중앙값 0.524 m. 닿는 거리인데 계속 실패한다.
93칸(34%)은 들었다가 바닥에 떨어뜨린다. 낙하가 나면 SR이 .009로 무너진다(낙하 없음 .210).
다섯 사례 모두 같은 실패를 수십 번 반복한다 — 전략을 바꾸지 않는다.
80%
실패 중 파지
273
영상 있는 사례
16회
시도 중앙값
0.524m
접근거리 중앙값
93
낙하 칸
0무엇을 보고 있나
선정 기준: restore 본 런에서 성공=False · reached_gt=True · lifted_gt=False 인 칸 중, 하네스가 GT 물체를 직접 지목한(decision.object_id == GT uid) pick 시도 영상이 있는 273칸.
각 사례마다 첫 시도 · 중간 · 마지막 시도 세 클립을 exo(외부)·wrist(손목) 두 뷰로 싣는다 — 한 클립만 보면 "운이 없었다"로 읽히지만, 첫 시도와 마지막 시도를 나란히 보면 같은 접근을 그대로 반복하는지가 보인다.
전략
파지 실패 칸
textlog
161
rollforward-vis-pure
53
rollforward-v3
31
frames-uniform
27
blind
1
textlog가 161칸으로 가장 많은 것은 전략이 나빠서가 아니다 — textlog는 읽기 답이 맞은 칸이 256개로 가장 많아 분모가 크다. 전략 간 비교는 LOO 보정 표에서 하고, 여기서는 무슨 일이 일어나는지만 본다.
1반복 재시도 — 56회 같은 실패
전략
textlog
편
v1_train_2224__0
GT 물체
remotecontrol
pick 시도
56회
최소 접근거리
0.584 m
총 턴
60
종료
max_subgoals
바닥 낙하
아니오
질의: Pick up the remote controls and place them in or on where they first were, then pick up the potato and place it in or on where it first was
시도 1/56 — 턴 t=4
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: I have navigated to the toilet in the bathroom where remote control #2 is located. I will now pick it up.
시도 29/56 — 턴 t=32
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: I am in front of the toilet in the bathroom where remote control #2 is located. I will pick up the remote control.
시도 56/56 — 턴 t=59
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: We are in front of the toilet in the bathroom where remote control #2 was placed. Attempting to pick up the remote control.
2들었다가 바닥에 떨어뜨림
전략
textlog
편
v1_train_4136__1
GT 물체
Irishpotato
pick 시도
54회
최소 접근거리
0.516 m
총 턴
60
종료
max_subgoals
바닥 낙하
예
질의: Pick up the potato and place it in or on where it first was, then pick up the remote control and place it in or on where it first was
시도 1/54 — 턴 t=1
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: I have navigated to the chair in the kitchen where the potato is located. Now I need to pick up the potato.
시도 28/54 — 턴 t=32
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The potato has not been grasped yet. I will retry picking the potato from the chair.
시도 54/54 — 턴 t=59
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The pick attempt on the potato did not finish lifting it yet. I need to continue the pick action.
3가장 가까이 갔는데도 못 듦
전략
rollforward-vis-pure
편
v1_train_6998__0
GT 물체
Irishpotato
pick 시도
41회
최소 접근거리
0.348 m
총 턴
50
종료
max_subgoals
바닥 낙하
아니오
질의: Pick up the potato and place it in or on where it first was
시도 1/41 — 턴 t=0
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The robot is at the dining table in the kitchen facing the potato. I will pick up the potato.
시도 21/41 — 턴 t=20
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The gripper is positioned around the potato on the dining table but has not completed lifting it yet. Continue picking the potato.
시도 41/41 — 턴 t=49
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The robot is in the middle of grasping the potato on the dining table. Continuing pick(potato) to complete the grasp and lift.
4이미지 메모리 전략
전략
frames-uniform
편
v1_train_6222__0
GT 물체
pot
pick 시도
33회
최소 접근거리
0.505 m
총 턴
36
종료
budget_exhausted
바닥 낙하
아니오
질의: Pick up the pot and place it in or on where it first was
시도 1/33 — 턴 t=1
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: I have navigated to the bed where the pot is located. Now I need to pick up the pot.
시도 17/33 — 턴 t=19
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The gripper is aligning with the pot but has not yet grasped and lifted it. I will continue the pick subgoal.
시도 33/33 — 턴 t=35
외부 카메라 (exo)손목 카메라 (wrist)
💭 reasoning: The gripper is still reaching for the pot handle on the bed. Continuing the pick subgoal.
5노트 재작성 전략
전략
rollforward-v3
편
v1_train_6659__1
GT 물체
apple
pick 시도
38회
최소 접근거리
0.557 m
총 턴
43
종료
budget_exhausted
바닥 낙하
아니오
질의: Pick up the apple and place it in or on where it first was
시도 1/38 — 턴 t=0
외부 카메라 (exo)손목 카메라 (wrist)
✎ 그 턴 모델 노트: [context] Apple originally started on the kitchen chair, was moved to the dining table. Goal is to return it to the chair.
[plan]
1. [ ] pick apple fr
💭 reasoning: The apple is within reach on the dining table. I will grasp and lift the apple before carrying it to the chair.
시도 20/38 — 턴 t=23
외부 카메라 (exo)손목 카메라 (wrist)
✎ 그 턴 모델 노트: [context] Apple originally started on the kitchen chair, was moved to the dining table. Goal is to return it to the chair.
[plan]
1. [ ] pick apple fr
💭 reasoning: The pick action did not grasp the apple yet (gripper is empty in the air). Retrying pick(apple).
시도 38/38 — 턴 t=42
외부 카메라 (exo)손목 카메라 (wrist)
✎ 그 턴 모델 노트: [context] Apple originally started on the kitchen chair, was moved to the dining table. Goal is to return it to the chair.
[plan]
1. [ ] pick apple fr
💭 reasoning: The gripper is directly above the apple and ready to grasp, but has not yet grasped and lifted it. Retrying pick(apple).
6무엇이 보이나
1. 같은 실패의 반복. 다섯 사례 전부 첫 시도와 마지막 시도의 접근이 사실상 같다. VLM은 "아직 안 됐으니 다시"만 판단하고, VLA는 매번 같은 궤적을 낸다 — 30~56회를 그렇게 쓴다. 프로토콜상 재시도는 정상이지만(pick이 안 끝났으면 같은 서브골을 다시), 다르게 시도할 수단이 없다.
2. 거리는 문제가 아니다. 최소 접근거리 중앙값 0.524 m로 전부 도달 반경 안이다. 베이스 위치가 아니라 그립 자체가 실패한다.
3. 낙하는 회복 불가. 바닥에 떨어뜨린 뒤 다시 집는 칸이 거의 없다 — 낙하 발생 시 SR .009 vs 미발생 .210. 바닥 물체는 navigate(floor)로 접근해야 하는데 대부분 그 전환을 못 한다.
이 벤치마크에 대한 의미
restore 온라인 SR이 전략과 무관하게 .16~.23에 몰려 있는 이유가 여기 있다. 메모리가 무엇을 기억하든 손이 물건을 못 든다. 그래서 LOO 보정에서 ΔSR이 전부 2·SE 안에 들어오고, 차이는 효율(턴 수)에서만 나타난다. 메모리 전략을 가르려면 파지가 병목이 아닌 축 — 첫 navigate 적중, 턴 수, 완료 인지 — 을 봐야 한다.