30K 프로브 — Arm B의 9.2pt 격차가 사라졌다

⚠️ 이 리포트의 결론은 무효입니다 (2026-08-10 확인)
여기 실린 A/B 수치는 pretrained 비디오 모델이 아니라 random init에서 학습된 모델의 것입니다. upstream repo가 .pt 체크포인트를 조용히 스킵하는 버그 때문이며, 가설 자체가 “video prior가 더 나은 표현을 준다”이므로 검증이 성립하지 않습니다. 경위: random-init 사고 리포트

TL;DR

6-task 평균 격차 −9.2pt(15K) → 0.0pt(30K). 사전 등록 기준("좁혀지면 계속")대로 Arm B 계속, scancel 없음.
가설 (b)(B가 그냥 나쁘다)가 약해졌다 — 15K 격차는 실력 차가 아니라 학습 지연이었다는 쪽으로 증거가 왔다. B의 목적함수가 더 어렵다는 사전 예측과 일치.
PnP 3-task에서 B가 13.3 vs A 5.0 — 가설의 표적 태스크군. 다만 1.63σ (p≈0.11), seed 1개이고 프로브는 진단용으로만 쓴다고 사전 등록했다. 주장 금지.
B의 TurnOnMicrowave 결손은 그대로 (A 45 / B 5). 15K→30K에서 40pt가 전혀 안 좁혀진 유일한 항목.

0.0

6-task Δ (was −9.2)

+8.3

PnP Δ (1.63σ)

−40

TurnOnMicrowave Δ

90K

종료점 (확정)

1 배경 / 목적

15K 프로브에서 Arm B(mid-frame slots)가 Arm A(stock)에 6-task 평균 9.2pt 뒤졌다. 두 가설이 살아 있었다:

(a) 늦게 배우는 중 — B의 목적함수가 엄격히 더 어렵다 (denoise 대상 13 vs 11, dropout으로 절반은 11). 같은 step 수에서 뒤처지는 것은 예측되는 바이고, 이런 정책은 태스크가 계단식으로 풀리므로 B가 아직 못 열었을 뿐일 수 있다.

(b) 그냥 더 나쁘다 — mid-frame slot이 용량·gradient만 가져가고 아무것도 돌려주지 않는다. 설계 당시 적어둔 사망 시나리오 1번.

30K를 판별 지점으로 사전 등록해 두었고, 판정 규칙도 그때 고정했다: 격차가 좁혀지면 (a) → B 계속 / 유지·확대되면 (b) 유력 → scancel 72439.

2 작업 내용

워처(PID 40487)가 30K 체크포인트 도달을 감지해 두 arm의 프로브 평가를 자동 제출했다. job 74650(A) / 74659(B), 각 1:47 소요, 둘 다 완주.

프로토콜 (5K/15K와 동일, 사전 등록) 6 task x seed 195 x 20 trial PnPCounterToCab PnPCounterToSink PnPStoveToCounter CoffeeSetupMug TurnOnMicrowave OpenSingleDoor 집계: scripts/collect_robocasa_results.py --arm armAit30000 / armBit30000

유의성은 이항분포만으로 계산했다. seed·환경 변동을 뺀 하한이므로 실제 노이즈는 이보다 크다.

3 결과

프로브 곡선

iter	Arm A	Arm B	Δ (B−A)
5K	0.0	0.0	0.0
15K	19.2	10.0	−9.2
30K	20.8	20.8	0.0

태스크별 — 격차가 사라진 게 아니라 자리를 옮겼다

task	A 15K→30K	B 15K→30K	Δ30K (B−A)
TurnOnMicrowave	40 → 45	0 → 5	−40
CoffeeSetupMug	0 → 15	0 → 10	−5
PnPCounterToSink	5 → 10	0 → 5	−5
PnPCounterToCab	5 → 0	5 → 15	+15
PnPStoveToCounter	0 → 5	0 → 20	+15
OpenSingleDoor	65 → 50	55 → 70	+20

유의성 (이항분포 하한)

지표	A	B	차이	SE(차이)	σ
6-task 평균	20.8	20.8	+0.0pt	4.5pt	0.00
PnP 3-task 평균	5.0	13.3	+8.3pt	5.1pt	1.63 (p≈0.11)

판정: 사전 등록 기준 적용 → 격차 −9.2 → 0.0은 명백히 "좁혀짐". B 계속, 두 arm 모두 90K까지.

과대해석 금지: PnP 8.3pt는 1.63σ, seed 1개, 그리고 프로브는 사전 등록에서 진단용으로만 쓴다고 못박은 지표다. 가설이 표적으로 삼은 태스크군에서 나왔다는 점이 흥미롭지만, 그렇기 때문에 더더욱 확증 편향을 경계해야 한다.

4 Takeaway

15K의 9.2pt는 실력 차가 아니라 학습 지연이었다

B의 목적함수는 A보다 엄격히 어렵다 — denoise 대상이 13개(dropout 시 11개)이고, 같은 step 수에서 뒤처지는 것은 설계 시점에 예측했던 바다. 30K에서 정확히 따라잡은 것은 그 예측과 일치한다. 가설 (b)는 약해졌다.

다만 “B가 이겼다”는 아직 어디에도 없다. 6-task 평균은 동점이고, PnP 우위는 노이즈와 구분되지 않는다. 결론은 45K/90K의 24-task × 3-seed 평가에서 난다.

남은 A 우위 하나: B의 TurnOnMicrowave가 15K→30K에서 40pt 그대로다 (0→5 vs 40→45). 유일하게 크고 지속적인 항목. 24-task에서 유사 태스크(TurnOffMicrowave, TurnOnStove 등)도 같이 무너지는지 보면 “특정 태스크 우연” vs “특정 스킬군 결손”을 구분할 수 있다.

개별 태스크 이동의 대부분은 노이즈다. n=20에서 p≈0.5 부근 per-task SE는 ~11pt. A가 OpenSingleDoor 65→50, PnPCounterToCab 5→0으로 “퇴보”한 것도 실제 퇴보라고 볼 근거가 없다.

5 Next Steps

[08-08 오후] 45K = 1차 헤드라인 평가

A 10:40 / B 14:35 도달 후:

bash scripts/submit_final_eval.sh # 변환 1회 + 24 task x 3 seed x 50 trial .venv/bin/python scripts/collect_robocasa_results.py --arm armAit45000 --csv tmp/final_A.csv .venv/bin/python scripts/collect_robocasa_results.py --arm armBit45000 --csv tmp/final_B.csv

판정: 1차 24-task 평균(SE 0.79pt, kill criterion 5pt) / 2차 PnP 8-task(SE 1.46pt) / 개별 task는 15pt 미만 주장 금지.

[08-11] 90K = 2차 평가

ITER=90000 bash scripts/submit_final_eval.sh. 프로브는 60K/75K/90K가 자동으로 붙는다.

⚠️ 계정 GPU 풀 포화

다른 프로젝트 job들이 AssocGrpGRES로 PENDING 중이다. 45K 평가 48개 job은 extra QOS라 대기가 길어질 수 있다. 밀리거나 날아간 (task, seed)는 collector가 missing으로 표시하므로 그것만 재제출하면 된다.

미해결

B의 TurnOnMicrowave 결손 원인 미규명.
per-component 지표(action_l1_loss) 없음 — wandb를 껐기 때문. 이번 실험에서는 포기.