Index
2026-08-17 — Experiment

다중 씬 ckpt 매트릭스 — part1 vs aux(mix), 5씬 × pick/pnp

scene_bench | "한 에피소드 편중" 탈피 첫 실측 — sampler-native 셋업, worker(sbm) 실행

TL;DR

18/20
팔 활동 확정 (2 보류)
3/10 vs 2/10
part1 vs mix SR
1/10
pnp 합산
5
~1h
wall (2 job 병렬)

1 설계 — 왜 이 매트릭스인가

기존 온라인 실험(A/B/N6)은 전부 house 136 + frame-0 restore 고정이었고, 그 셋업은 문제 누적 지점이었다(bowl 이미 테이블 위 = instant-success, TV stand 리치 밖, bowl 시야 밖). 이번 매트릭스는 sample_task(house_index)로 씬마다 in-distribution 셋업을 재샘플한다 — datagen sampler가 pickup/receptacle을 로봇 근처로 보장, VLM 불개입(scripted), 600스텝, 행 단위 저장+resume. 실행: run_matrix_worker.sh (worker 안에서 정책서버+매트릭스 동시 기동, sbmr 3회 요청).

2 결과 그리드 — 씬 × 스킬 × ckpt (각 셀: 성공여부·스텝·wrist 모션·과제)

houseskillpart1_20k (구)mix_20k (aux 신)
h136pick실패 600스텝 · 모션 14.3
eating utensil — Pick up the fork
성공 145스텝 · 모션 33.44
matte dark gray bowl — Pick up the bowl
pick_and_place실패 600스텝 · 모션 1.7
rectangular green tissue box with tissues — Pick up the tissue and place it in or on the bowl
실패 600스텝 · 모션 13.64
dark pen — Pick up the pen and place it in or on the box
h290pick실패 600스텝 · 모션 18.34
instrumentation — Pick up the shaker
성공 61스텝 · 모션 32.73
light brown bowl — Pick up the bowl
pick_and_place실패 600스텝 · 모션 24.72
polished metal fork with curve — Pick up the fork and place it in or on the bowl
실패 600스텝 · 모션 11.95
shaker — Pick up the shaker and place it in or on the bowl
h375pick실패 600스텝 · 모션 18.94
blue plastic spray bottle with nozzle — Pick up the bottle
실패 600스텝 · 모션 8.63
slim black remote control — Pick up the remote
pick_and_place성공 173스텝 · 모션 21.53
translucent smooth glass conical bowl — Pick up the bowl and place it in or on the platform
실패 600스텝 · 모션 25.46
translucent glass bottle with bulbous body — Pick up the bottle and place it in or on the bowl
h446pick성공 111스텝 · 모션 19.49
butter knife — Pick up the knife
실패 600스텝 · 모션 17.02
polished octagonal silver metal plate — Pick up the plate
pick_and_place실패 600스텝 · 모션 29.65
square glass pepper shaker with lid — Pick up the pepper and place it in or on the bowl
실패 600스텝 · 모션 24.46
wide shallow red vase with neck — Pick up the vase and place it in or on the bowl
h640pick성공 51스텝 · 모션 29.65
spray — Pick up the bottle
실패 600스텝 · 모션 14.37
translucent plastic cup — Pick up the cup
pick_and_place실패 600스텝 · 모션 22.96
soap dispenser — Pick up the bottle and place it in or on the bowl
실패 600스텝 · 모션 1.14
ladle — Pick up the ladle and place it in or on the bowl
셀 간 직접 비교 주의: 각 런의 과제(pickup 물체)는 sampler가 독립적으로 뽑아 ckpt 간 같은 셀이라도 물체가 다르다 (예: h136 pick — part1은 fork, mix는 bowl). 집계 SR은 같은 분포에서의 비교로 유효하지만 셀 단위 우열은 무의미. 표본 확대(--samples) 또는 시드 고정이 다음 개선.
모션 확인 (18/20 확정 + 2 판정 보류): 18/20 런은 wrist 모션이 지속적으로 임계 위 — N6의 house 136 무모션과 뚜렷이 대비. 원인은 모델이 아니라 restore된 frame-0 상태(학습 분포 밖 초기 자세/관측 의심)로 좁혀짐. 최저 2셀(mix h640 pnp, part1 h136 pnp)은 스파이크가 첫 1~2프레임에만 존재해 렌더 diff로는 동결 여부를 판정할 수 없음 — 다음 라운드부터 모션 판정은 렌더 프록시 대신 액션/관절속도 로그로 전환.

3 실물 증거 — 대표 영상 (wrist 캠)

성공: part1_20k h375 pick_and_place "bowl → platform" — 173스텝, 하네스 최초의 풀 pnp 성공 (exo 캠)
성공: mix_20k h136 "Pick up the bowl" — 145스텝. part1이 0/2였던 house 136에서 신 ckpt가 성공 (exo 캠)
성공: mix_20k h290 "Pick up the bowl" — 61스텝
성공: part1_20k h640 "Pick up the bottle" — 51스텝 (구 모델도 정상 작동!)
실패 사례: mix_20k h290 pnp "shaker → bowl" — 600스텝 소진. 팔은 계속 활동하나 완수 실패 (pnp 전반의 그림)

4 실패 사례 모음 — 15건 중 대표 6건 (명령 원문 · 영상 · 원인)

실패 15건의 분포: 활동형 미완수 13건 (wrist 모션 8.6~29.7 — 팔은 계속 시도) + 저모션 판정 보류 2건 (렌더 프록시 한계). 아래는 유형별 대표 사례 — 각 카드는 [준 명령 → 영상이 보여주는 것 → 해석] 순.

F-A · part1 · h136 · "Pick up the fork" (600스텝, wm 14.3)
영상: 그리퍼가 fork(토마토 왼쪽)가 아니라 옆 영역(폰·책 근처) 상공을 배회하다 종료 — 접근 활동은 활발하나 대상 특정이 안 됨. 어수선한 조리대 + 얇은 물체 조합.
F-B · part1 · h446 · "Pick up the pepper and place it in or on the bowl" (600스텝, wm 29.65 — 실패 중 최고 활동)
영상: 흰 컨테이너 부근까지 반복 하강·접근하지만 pepper 파지→이송이 이뤄지지 않음. 같은 집에서 pick(knife)은 111스텝에 성공한 것과 대조 — 씬이 아니라 과제 난이도 차이.
F-C · mix · h446 · "Pick up the plate" (600스텝, wm 17.0)
영상: 조명이 매우 어두운 선반 씬 — 팔이 plate 상공까지 접근하나 파지 실패 반복. 평평한 물체(파지 여유 없음) + 저조도 관측의 복합.
F-D · mix · h375 · "Pick up the remote" (600스텝, wm 8.63 — 활동형 중 최저)
리모컨 = 얇고 평평한 물체. 같은 씬에서 part1은 pick(bottle)도 실패(wm 18.9) — h375에서 성공한 것은 part1의 pnp뿐.
F-E · part1 · h136 · "Pick up the tissue and place it in or on the bowl" (600스텝, wm 1.7) 판정 보류
저모션 셀 ①. wrist diff 스파이크가 에피소드 첫 1~2프레임(리셋 직후 렌더 과도현상)에 집중 — 렌더 프록시로는 동결/활동 판정 불가. 액션 로그 도입 후 재판정.
F-F · mix · h640 · "Pick up the ladle and place it in or on the bowl" (600스텝, wm 1.14) 판정 보류
저모션 셀 ②. 동일 패턴(첫 프레임 스파이크 후 임계 미달). 두 저모션 셀은 ckpt가 서로 달라 특정 ckpt의 결함으로 볼 수 없음.
실패 분류 요약: ① 활동형 파지 실패 (pick 6건 — fork/shaker/bottle/remote/plate/cup: 대상 상공 배회 또는 파지 시도 미성립) ② 활동형 pnp 미완수 (5건 — 접근은 하나 파지→이송 체인이 끊김; pnp 1/10의 원인, horizon 900 재실험 대상) ③ 저모션 판정 보류 (2건 — 측정 방법론 한계, 액션 로그로 전환 후 재판정). 물체 형상 패턴(얇음/평평/투명)이 의심되나 셀당 표본 1이라 특정 불가 — 표본 확대 시 물체 축 통제 필요.

5 시간 · 인프라

런당: 성공 35~126s / 실패(600스텝 소진) 195~337s 매트릭스 10런 합계: part1 2080s (~35분) / mix 2156s (~36분) + 서버 기동·컴파일 ~10분 worker 실행: --container=docker.io/library/python:3.11 + NVIDIA_DRIVER_CAPABILITIES=graphics,compute (기본 ubuntu:22.04는 gcc 부재로 Triton JIT 실패 — §13 예견 사례, 조기 모니터로 10분 내 포착) 스케일 참고: 씬 20채 × 표본 3 × 2스킬 = 120런 ≈ 히스토리 기준 GPU ~8h/ckpt (병렬 분할 자명)

6 Takeaway / Next

단일 에피소드 편중이 결론을 왜곡하고 있었다

N6는 house 136에서 "신 모델 무모션"이라 기록했고 관측 분포 불일치를 의심했다. 5씬 매트릭스는 반대로 양 모델 모두 전 런에서 활동하고 성공 사례도 여러 씬에 분포함을 보였다 — 문제는 모델이 아니라 그 셋업이었다. 앞으로 모든 정책 결론은 다중 씬 매트릭스를 기본으로 한다. aux의 pick 개선은 이 표본에서 미확인 — mx* 스윕(타 세션, 그들 eval.py 재현 계열)의 벤치 수치와 대조가 필요하다.

다음

① pnp horizon 900으로 재실험 (1/10의 원인 분리) ② --samples 3으로 표본 확대 + ckpt 간 동일 시드 검토 ③ mx* 스윕 결과와 대조 (그들 벤치 vs 우리 sampler-native SR) ④ house 136 restore 셋업의 무모션 원인 규명 (frame-0 관절 자세/관측을 학습 분포와 대조) ⑤ N6 결론 문서에 정정 주석.