move_stapler_pad에서 1% → 61%, stamp_seal에서 4% → 34%가 된다.9일간 진행한 검증 실험이 로그 7개에 흩어져 있고, 중간에 정정된 해석도 많다. 이 리포트는 그 결과를 최종 수치 기준으로 두 질문에 답하도록 정리한다.
| # | 날짜 | 실험 | 핵심 결과 |
|---|---|---|---|
| E1 | 09-09 | 43/7 split asset 커버리지 | train에 없는 asset은 5종뿐. SR은 신규성 순서를 따르지 않음 |
| E2 | 09-09 | 논문 ablation 태스크별 복원 (radar 벡터 역산, ≤0.05pp) | 데이터 효과 +21.99pp(75%), ICL 경로 효과 +7.51pp(25%) |
| E3 | 09-09 | 자체 LingBot-VA (upstream 기준) | 27.86%. 논문 17.45보다 높음 |
| E4 | 09-15 | 공개 릴리스 분석 | 논문 수치는 성공 기준 2개가 완화된 env로 측정됨 |
| E5 | 09-15~16 | ZW w/o pretrain 재학습 (Wan2.2 init, 32K step) | 20h52m 무중단 완료, 변환 bit-exact 검증 |
| E6 | 09-18 | LB 수정 기준 재평가 (모델 고정) | stapler 1→61, stamp 4→34. LB macro 40.71 |
| E7 | 09-17~18 | ZW w/oP: lang / ICL / ICL 교체 | 20.67 / 27.00 / 교체 시 pooled −13pp |
| E8 | 09-19 | stamp_seal 프롬프트 2×2 | 프롬프트 +13~15pp, 기준 +28~30pp, 두 효과 가산적. LB 47 = ZW 47 |
| task | 논문 LB | 자체 LB | 논문 w/oP | 자체 ICL | 자체 lang | 자체 교체 | 논문 ZW |
|---|---|---|---|---|---|---|---|
| place_empty_cup | 42.33 | 62.00 | 46 | 28.00 | 10.00 | 12.00 | 84.87 |
| move_stapler_pad | 23.33 | 61.00 | 74 | 40.00 | 52.00 | 26.00 | 69.14 |
| place_bread_basket | 17.33 | 60.00 | 33 | 37.00 | 31.00 | — | 35.00 |
| stamp_seal | 3.67 | 34.00 (pnp 47.00) | 53 | 47.00 | 30.00 | 38.00 | 47.00 |
| open_microwave | 29.33 | 34.00 | 26 | 21.00 | 8.70 (n=92) | — | 59.00 |
| place_object_scale | 6.17 | 34.00 | 22 | 16.00 | 13.00 | — | 24.67 |
| stack_blocks_three | 0.00 | 0.00 | 0 | 0.00 | 0.00 | — | 9.00 |
| macro | 17.45 | 40.71 | 36.36 | 27.00 | 20.67 | 25.33 (3태스크) | 46.95 |
논문 w/oP 태스크별 값은 Fig.5의 정수 반올림 값이다. 자체 LB(VA base init, lr 1e-5)와 자체 ZW w/oP(Wan2.2 init, lr 1e-4)는 학습 조건이 달라 직접 승패를 비교하지 않는다. macro SE는 약 ±1.4~1.7pp다.
| task | Δ | train에 없는 타깃 |
|---|---|---|
| open_microwave | +25.00 | microwave |
| place_empty_cup | +22.87 | coaster |
| stamp_seal | +13.00 (프롬프트 교정 시 0) | seal |
| stack_blocks_three | +9.00 | 없음 |
| move_stapler_pad | +8.14 | 없음 |
| place_object_scale | −9.33 | electronicscale |
| place_bread_basket | −25.00 | breadbasket |
| 측정 | 값 | 해석 |
|---|---|---|
| 추론 시 demo 기여 (같은 ckpt) | +6.33pp (SE≈2.1) | 실재함. 논문 ICL 경로 +7.51과 크기 비슷 |
| matched vs mismatched (3태스크 pooled) | 38.33 → 25.33, p=0.0008 | 영상 내용을 실제로 씀 |
| 교체 조건의 잔여 성공률 (언어 off) | 25.33% | 틀린 demo로도 성공. 명세는 장면에서 옴 |
| Δdemo(자체) vs ΔICL(논문) 순위상관 | Spearman 0.64 (n=7) | 대체로 일치. bread·stapler는 부호 반대 |
| stamp_seal 프롬프트 / 기준 효과 | +13~15 / +28~30pp | 논문 최강 demo 사례는 어휘 OOV + 허용오차로 설명됨 |
| 논문 ZW w/o IFP vs text-only | 28.55 < 39.44 | IFP 없이 영상을 넣으면 손해 |
Q1: 헤드라인 +29.50pp는 약한 baseline과 성공 기준 차이의 산물이다. 공정 비교에서 남는 우위는 +6.24pp이고, 그중 절반 이상이 두 태스크(microwave, empty_cup)에 몰려 있다.
Q2: RoboTwin에서 human demo는 조건부 보조 신호다. 영상 내용은 성공률을 움직이지만(−13pp), 과제를 지정하지는 않는다(언어 없이 틀린 demo로 25%). RoboTwin의 held-out 태스크는 장면 구성만으로 과제가 드러나므로, 이 벤치마크로는 "demo = task specification"을 반증할 수 없다.
평가 위생: (a) 성공 기준을 반드시 명기한다. (b) 모델과 기준을 동시에 바꾼 비교로 가설을 지지하지 않는다. (c) 논문 text-only ZW는 별도 학습 모델이라 추론 시 demo 기여와 다르다.
| # | 실험 | 가르는 질문 | 비용 |
|---|---|---|---|
| 0 | w/oP 32K → 50K 추가 학습 후 재평가 보류 | −9.29pp가 스텝 부족 때문인가 | 8 GPU ~12h + eval |
| 1 | 영상만 교체 + 캡션 고정 | 영상과 캡션 중 무엇을 쓰는가 | 재학습 없음 |
| 2 | 공개 posttrain ckpt 7태스크 재현 | 46.95 재현 가능 여부 (학습 쪽 vs 평가 쪽) | 재학습 없음 |
| 3 | 교체 대조 4태스크 확장 + goal-frame-only | grounding vs 목표상태 프라이어 | 재학습 없음 |
| 4 | 시드 2~3개 추가 | 태스크 단위 Δ를 노이즈와 구분 | eval ×2~3 |
| 5 | 반증 가능 스위트 A (chance=1/3) | Q2의 최종 판정 | env 구현 |
stseed-10000)와 자체 ZW(stseed-100000)는 episode 초기 상태가 달라 짝지어지지 않는다.