reasoning-slot 실험(Arm A vs B)을 돌리기 전에 우리 eval 파이프라인이 논문 프로토콜을 정확히 재현하는지 확인해야 했다. 260513에는 24개 중 TurnOffMicrowave 1개만 돌렸고, 그마저 잘못된 기준(~91%)과 비교하고 있었다. 또한 A/B의 kill criterion을 정하려면 seed 노이즈 크기를 알아야 했다.
| Model | demos/task | Avg SR |
|---|---|---|
| GR00T-N1 | 300 | 49.6 |
| UVA | 50 | 50.0 |
| DP-VLA | 3000 | 57.3 |
| GR00T-N1 + DreamGen | 300 (+10k synth) | 57.6 |
| GR00T-N1 + DUST | 300 | 58.5 |
| UWM | 1000 | 60.8 |
| π0 | 300 | 62.5 |
| GR00T-N1.5 | 300 | 64.1 |
| Video Policy | 300 | 66.0 |
| FLARE / GR00T-N1.5+HAMLET | 300 | 66.4 |
| Cosmos Policy | 50 | 67.1 |
| task | s195 | s196 | s197 | mean | std |
|---|---|---|---|---|---|
| TurnOffMicrowave | 100.00 | 98.00 | 100.00 | 99.3 | 1.15 |
| CloseDrawer | 98.00 | 100.00 | 98.00 | 98.7 | 1.15 |
| CoffeePressButton | 96.00 | 98.00 | 98.00 | 97.3 | 1.15 |
| CloseSingleDoor | 96.00 | 96.00 | 90.00 | 94.0 | 3.46 |
| CloseDoubleDoor | 94.00 | 90.00 | 92.00 | 92.0 | 2.00 |
| OpenDrawer | 94.00 | 96.00 | 80.00 | 90.0 | 8.72 |
| OpenDoubleDoor | 84.00 | 96.00 | 86.00 | 88.7 | 6.43 |
| OpenSingleDoor | 78.00 | 84.00 | 92.00 | 84.7 | 7.02 |
| TurnOffSinkFaucet | 74.00 | 76.00 | 84.00 | 78.0 | 5.29 |
| TurnOnMicrowave | 76.00 | 74.00 | 76.00 | 75.3 | 1.15 |
| TurnSinkSpout | 72.00 | 78.00 | 76.00 | 75.3 | 3.06 |
| PnPSinkToCounter PnP | 78.00 | 76.00 | 66.00 | 73.3 | 6.43 |
| PnPStoveToCounter PnP | 66.00 | 70.00 | 72.00 | 69.3 | 3.06 |
| PnPCounterToStove PnP | 54.00 | 68.00 | 64.00 | 62.0 | 7.21 |
| TurnOnSinkFaucet | 62.00 | 62.00 | 60.00 | 61.3 | 1.15 |
| PnPCounterToCab PnP | 62.00 | 54.00 | 50.00 | 55.3 | 6.11 |
| CoffeeServeMug | 56.00 | 60.00 | 46.00 | 54.0 | 7.21 |
| PnPCounterToSink PnP | 58.00 | 48.00 | 56.00 | 54.0 | 5.29 |
| TurnOnStove | 56.00 | 50.00 | 54.00 | 53.3 | 3.06 |
| PnPCounterToMicrowave PnP | 32.00 | 46.00 | 28.00 | 35.3 | 9.45 |
| CoffeeSetupMug | 26.00 | 32.00 | 36.00 | 31.3 | 5.03 |
| PnPMicrowaveToCounter PnP | 34.00 | 34.00 | 26.00 | 31.3 | 4.62 |
| PnPCabToCounter PnP | 22.00 | 36.00 | 30.00 | 29.3 | 7.02 |
| TurnOffStove | 18.00 | 22.00 | 28.00 | 22.7 | 5.03 |
CoffeeSetupMug 31.3%도 PnP가 아니다.| 지표 | SE | 유의에 필요한 차이 (2√2·SE) |
|---|---|---|
| 24-task 평균 | 0.79pt (seed std 1.37) | 2.2pt |
| PnP 8-task 평균 | 1.46pt | 4.1pt |
| 개별 task | seed std 중앙값 5.0, 최대 9.5 | ~15pt |
A/B 결과를 본 뒤 점수 낮은 task를 골라 "여기서 좋아졌다"고 주장하면 회귀-평균 아티팩트와 구분되지 않는다. 지금 고정한다.
PnP 서브셋은 점수가 아니라 task 유형(접촉 많은 pick-and-place)으로 정의되므로 사후 선택이 아니다. TurnOffStove(22.7), CoffeeSetupMug(31.3)는 최저점이지만 PnP가 아니라 2차 지표에서 빠진다 — 사전 등록의 대가이며 탐색적 관찰로만 보고한다.
sbm job은 실패해도 COMPLETED로 보고된다. ~/template.sh가 eval -- "$1" 뒤 set +f로 끝나 exit code가 0으로 덮인다. 실측: job 72102는 srun task 3개가 전부 exit 1인데 COMPLETED / 57초. → collector가 결과 파일 유무로 검증하도록 작성.IMAGINAIRE_OUTPUT_ROOT 기본값이 /tmp/imaginaire4-output (config.py:203) — 워커 로컬 휘발성 경로. 학습 시 NAS로 강제하지 않으면 체크포인트 전량 소실 + auto-resume(latest_checkpoint.txt) 불능. → scripts/train_robocasa.sh에서 강제.extra로 낸 24개 중 2개가 13:57:55에 동시 PREEMPTED. own으로 재제출해 완료. 학습 job은 own이 맞다는 실증 근거.4 GPU × per-GPU 25 × grad_accum 2 = global batch 200, --qos=own, ~4일. 스크립트 작성 완료.
state_t=11→13, chunk_duration=41→49, 중간 프레임 slot을 시퀀스 맨 뒤에 추가(인덱스 shift 방지) + 학습 시 dropout p=0.5. 수정 파일 3개: dataset / model / config.