← 목록

선 자리가 VLA pick 성패를 가르는가

2026-09-17 · jobs 132443 · 132429–132432 · 400시행 · API $0
navi 하네스(가구별 검증된 자리 카탈로그)를 만들 가치가 있는지 가르는 파일럿
답: 가른다. 그것도 크게. 같은 물체·같은 가구에서 선 자리만 바꿨는데 성공률이 7/10 ↔ 0/10으로 갈린다. 좋은 자리를 골라 고정하면 pick 성공률이 0.36 → 0.62(홀드아웃 평가)로 오른다. 그런데 그 좋은 자리는 거리나 정면각으로는 못 고른다 — 실제로 굴려봐야 안다.
p < 0.0001
순열검정(사전 등록)
0.50
자리 간 폭 중앙값 (기준 ≥0.40)
0.36 → 0.62
무작위 → 최선 자리(홀드아웃)
0.38 / 0.32
“가장 가까운/정면” 규칙

1 왜 했나

사용자 제안: 가구마다 잘 되는 자리를 미리 정해 두고 navigate가 그 카탈로그만 쓰는 navi 하네스. VLA 실시행으로 자리를 검증하는 카탈로그는 약 350 GPU-h + 구현 4~5일이 든다. 만들기 전에 전제를 확인했다 — 선 자리가 pick 성패를 실제로 가르는가.

내 앞선 판단은 틀렸다. 오전의 12회 롤아웃에서 “성공·실패 간 거리·정면각 차이가 없다, 자리보다 물체·배치가 결정한다”고 봤다. 표본이 작아 못 본 것이었다. 특히 “bottle on sofa는 어디서든 0/3”이라던 그 병은 한 자리에서 4/10, 나머지 세 자리에서 0/30이다.

2 어떻게

pick 지점 10곳(가구: stand 2·bed·sofa·sink·dining table 2·chair 2·toilet)마다, 지금 navigate가 쓰는 것과 같은 샘플러(학습 datagen과 동일한 거리 0~0.7 m·±45°)로 8자리를 뽑아 서로 가장 다른 4자리를 골랐다. 자리마다 10회: 종료 상태 복원 → 속도 영점화 → 베이스를 그 자리에 고정 → VLA pick 1회(300스텝). 시행은 자리별 블록이 아니라 라운드로빈으로 돌려 누적 드리프트가 자리 효과로 위장되지 않게 했다(리뷰 지적 반영). 정책은 온라인 본 런과 같은 pi05_mlspaces_place_oc@20000.

판정 규칙은 데이터 전에 고정: 순열검정 p < 0.05 ∧ 자리 간 성공률 폭(max−min)의 중앙값 ≥ 0.40. 10회짜리 이항 잡음만으로도 폭 ≈0.20이 나오므로 0.40을 기준으로 잡았고, 집계 코드는 가짜 데이터로 양방향 검증했다.

3 결과 — 지점 × 자리 성공 횟수 (각 10회)

물체가구자리0자리1자리2자리3폭지점 평균
candletoilet3/109/102/101/100.80.38
bowlsink7/100/103/100/100.70.25
soap bottlestand4/108/105/102/100.60.47
potatochair0/100/106/101/100.60.17
remote controlbed2/106/101/103/100.50.30
cell phonestand1/100/102/105/100.50.20
bottlesofa0/100/104/100/100.40.10
ladlechair2/104/102/102/100.20.25
paper towel rolldining table5/107/105/105/100.20.55
knifedining table10/1010/109/108/100.20.93
10지점 중 6지점에서 폭 ≥ 0.5. candle 9/10 ↔ 1/10, bowl 7/10 ↔ 0/10, potato 6/10 ↔ 0/10. 지점(물체·배치) 효과도 크다 — 지점 평균 0.10 ~ 0.93. knife on dining table은 어디서든 된다.

4 영상 — 같은 물체, 자리만 다름

테두리 색 = 그 자리의 10회 성공률(초록 ≥6, 노랑 3~5, 빨강 ≤2). 영상은 각 자리의 첫 시행이다.

bowl · sink — 같은 물체, 자리만 다름

자리0: 7/10
물체까지 0.36 m · 정면이탈 3°
이 영상(첫 시행): 성공 38스텝
자리1: 0/10
물체까지 0.66 m · 정면이탈 45°
이 영상(첫 시행): 실패 300스텝
자리2: 3/10
물체까지 0.59 m · 정면이탈 22°
이 영상(첫 시행): 성공 112스텝
자리3: 0/10
물체까지 0.70 m · 정면이탈 26°
이 영상(첫 시행): 실패 300스텝

candle · toilet

자리0: 3/10
물체까지 0.29 m · 정면이탈 8°
이 영상(첫 시행): 실패 300스텝
자리1: 9/10
물체까지 0.67 m · 정면이탈 13°
이 영상(첫 시행): 성공 127스텝
자리2: 2/10
물체까지 0.69 m · 정면이탈 31°
이 영상(첫 시행): 실패 300스텝
자리3: 1/10
물체까지 0.62 m · 정면이탈 35°
이 영상(첫 시행): 실패 300스텝

bottle · sofa — 앞선 프로브에서 “어디서든 0/3”이라던 그 병

자리0: 0/10
물체까지 0.43 m · 정면이탈 3°
이 영상(첫 시행): 실패 300스텝
자리1: 0/10
물체까지 0.41 m · 정면이탈 40°
이 영상(첫 시행): 실패 300스텝
자리2: 4/10
물체까지 0.42 m · 정면이탈 8°
이 영상(첫 시행): 성공 96스텝
자리3: 0/10
물체까지 0.57 m · 정면이탈 6°
이 영상(첫 시행): 실패 300스텝

5 좋은 자리를 고르면 얼마나 오르나

자리 선택 방식pick 성공률
무작위 (현재 하네스)0.36
최선 자리 — 같은 데이터로 평가0.66 (승자의 저주로 과대)
최선 자리 — 홀드아웃 (5회로 고르고 나머지 5회로 평가, 양방향 평균)0.62

정직한 추정치는 +0.26 (1.7배). 다만 최선 자리에서도 0.62이지 1.0이 아니다 — VLA 자체의 확률성은 남는다.

6 좋은 자리는 기하로 예측되나 — 안 된다

규칙성공률
가장 가까운 자리를 고른다0.38
가장 정면인 자리를 고른다0.32
(참고) 무작위0.36

지점 내 순위상관(성공률 vs 거리) 중앙값 −0.23, (vs 정면 이탈각) 0.00 — 부호가 지점마다 뒤집힌다(−0.95 ~ +0.77). bowl은 가장 가깝고 정면인 자리가 최선이지만 candle은 가장 가까운 자리가 3/10이고 0.67 m 떨어진 자리가 9/10이다.

함의. 기하 검사만으로 자리를 고정하는 싼 카탈로그는 재현성은 주지만 성공률 이득은 못 준다. 이득(0.36→0.62)을 얻으려면 실제 VLA 시행으로 자리를 검증해야 한다. 단, 시험한 기하 특징은 거리·정면각 둘뿐이다 — 가구에 대한 접근 방향, 팔 가동 범위 같은 특징은 아직 안 봤고, 검증 데이터가 쌓이면 그걸로 예측기를 학습해 시행 수를 줄일 여지는 있다.

7 한계

8 다음

선택지내용비용
VLA 검증 카탈로그 (pick)약 1,400 pick 지점 × 후보 3~4자리, 적응형 조기 종료≈350 GPU-h(8 GPU ≈ 2일) + 구현 3일 · API $0
본 런 칸만 먼저B안 1,572칸이 실제로 쓰는 pick 지점만 검증위의 일부
place 자리도오라클 grasp + place 시행+180 GPU-h + 구현 1일