num_steps = 50000(va_robotwin_train_cfg.py:61) vs 우리 NUM_STEPS=32000(train_zerowam_wopretrain.sh:17) = 공식의 64%. LB와 샘플 예산을 맞추려 임의로 낮춘 값NUM_STEPS=50000 18K 추가 학습(8 GPU, 자동 resume)은 2026-09-19 사용자 결정으로 보류ZW w/o pretrain 자체 재현 ICL macro는 27.00%로 논문(36.29%, 태스크별 radar 역산 합 기준; Table 2 보고치 36.36)보다 −9.29pp 낮다.
동시에 같은 방식으로 학습한 자체 LingBot-VA는 논문보다 +23.26pp 높다(260921-lingbot_va_fixed_criteria_reeval).
편차가 반대 방향이라, 논문 기준 w/o pretrain 우세 +18.84pp가 자체 측정에서 −13.71pp(LB 우세)로 부호가 뒤집힌다(27.00 − 40.71).
두 자체 학습 런의 설정 파일·데이터 parquet·학습 스크립트를 직접 대조했다.
| 자체 LingBot-VA | 자체 ZW w/o pretrain | |
|---|---|---|
| 데이터셋 | robotwin_lingbot_clean50/lerobot_robotwin_eef_clean_50 | HumanGen/robotwin_data |
| 태스크 × 에피소드 | 43 × 50 | 43 × 50 (parquet 실측) |
| feature 스키마 | state[16]/action[16], cam 3개 [3,480,640], fps 50 | 동일 |
| action 채널 | action_dim 30, used_action_channel_ids = range(0,7)+... | 동일 |
| 에피소드 인스턴스 | 0–49 연속 | 42…940, 1000개 풀의 sparse 서브샘플 |
| 학습 해상도 | 256×320 | 224×288 |
| 초기화 | robbyant/lingbot-va-base (VA 사전학습) | Wan2.2-TI2V-5B (action head constructor 초기화) |
| learning rate | 1e-5 | 1e-4 |
| warmup / cfg_prob | 10 / 0.1 | 200 / 0.4 (droptext_target) |
| ICL 전용 키 | 없음 | icl_manifest_path, human_latent_path, use_icl_model, icl 320×480, icl_fps 12 |
..._eef_clean_50)만 보고 넘겨짚은 것.즉 데이터는 “ICL 경로가 얹힌 것 외에는 대체로 동일”하고, 실질 차이는 (a) 서로 다른 50개 장면 서브샘플, (b) 해상도, (c) 초기화, (d) lr 10배다.
32000은 자체 LingBot-VA 런과 샘플 예산을 맞추려고 임의로 낮춘 값이며 공개 recipe를 따른 것이 아니다.
| task | 논문 w/oP | 자체 ZW ICL | Δ | 자체 ZW lang | 자체 ZW 교체 | 논문 ZW | 자체 LB (수정) |
|---|---|---|---|---|---|---|---|
| place_empty_cup | 46.00 | 28.00 | −18.00 | 10.00 | 12.00 | 84.87 | 62.00 |
| move_stapler_pad | 74.00 | 40.00 | −34.00 | 52.00 | 26.00 | 69.14 | 61.00 |
| place_bread_basket | 33.00 | 37.00 | +4.00 | 31.00 | — | 35.00 | 60.00 |
| stamp_seal | 53.00 | 47.00 | −6.00 | 30.00 | 38.00 | 47.00 | 34.00 |
| open_microwave | 26.00 | 21.00 | −5.00 | 8.70 | — | 59.00 | 34.00 |
| place_object_scale | 22.00 | 16.00 | −6.00 | 13.00 | — | 24.67 | 34.00 |
| stack_blocks_three | 0.00 | 0.00 | ±0 | 0.00 | — | 9.00 | 0.00 |
| MACRO | 36.29 | 27.00 | −9.29 | 20.67 | 25.33 (3 태스크 pooled) | 46.95 | 40.71 |
출처: 논문 ZW는 Table 2(3시드 평균). 논문 w/oP 태스크별은 Fig.5 radar 역산(정수 반올림, 역산 macro 36.29 vs Table 2 36.36).
자체 값은 전부 단일 시드. LB eval은 stseed-10000, ZW eval은 stseed-100000이라 자체 두 열끼리도 짝지어지지 않는다.
| # | 후보 원인 | 근거 | 검증 가능성 |
|---|---|---|---|
| 1 | 학습 step 36% 부족 (32K vs 공개 50K) | ZW는 action head를 맨바닥에서 배우며 lr 1e-4 / 32K step. LB는 사전학습 base에서 lr 1e-5 미세조정 → 같은 step이어도 ZW가 덜 수렴했을 개연성 | 가능 — 18K step 추가 학습(재학습 아님, resume) |
| 2 | 서로 다른 50개 장면 서브샘플 | ZW: 1000개 풀의 sparse 서브샘플(42…940), LB: 0–49 연속 | 재학습 필요 |
| 3 | 학습 해상도 224×288 vs 256×320 | 설정 실측 | 재학습 필요 |
| 4 | 3시드 평균(논문) vs 1시드(자체) | 논문 Table 2 ±1.40 수준 | 시드 추가 평가 |
28000·32000 체크포인트만 남아 수렴 여부를 체크포인트로 사후 확인할 수 없다.1. 재현 격차는 “논문이 틀렸다”보다 “우리가 recipe를 절반 가까이만 따랐다”로 먼저 의심해야 한다. 32000은 공개 recipe(50000)에서 벗어난 자체 선택이었고, 이 변경은 기록되지 않은 채 격차 해석에 섞여 있었다.
2. 두 자체 baseline은 동일 조건이 아니다. 데이터 스키마·액션 채널·에피소드 수는 같지만 에피소드 인스턴스·해상도·초기화·lr이 다르다. 따라서 “자체 LB vs 자체 ZW” 비교(LB 5승 2무)는 방법론 우열이 아니라 학습 조건 차이가 섞인 값으로 읽어야 한다.
3. 사실 오류 1건 정정: “action space eef vs joint” 차이는 존재하지 않는다(동일 16차원 스키마). 디렉토리 이름으로 설정을 추정하지 말고 config를 읽을 것.
2026-09-19 사용자 결정으로 보류 — GPU 부족 / 타 프로젝트 우선. 따라서 자체 27.00%가 학습 부족 때문인지는 아직 미확정이다. Active 실험은 없다(2026-09-18 전부 완료).
1. checkpoint_step_32000에서 50,000 step까지 18K 추가 학습 → ICL/lang 재평가.
NUM_STEPS=50000 bash script/train_zerowam_wopretrain.sh로 재제출하면 최신 체크포인트에서 자동 resume(8 GPU), 재평가는 script/eval_zerowam_robotwin.sh.
반증 가능 예측: ICL macro가 27.00%에서 논문 36%대로 근접하면 학습 부족 확정, 그대로면 후보 2·3(서브샘플·해상도)으로 이동.
2. 공개 zero-wam-posttrain-robotwin으로 7태스크 재현 → 재현 격차가 학습 쪽인지 평가 쪽인지 확인. 로컬 RoboTwin rev 96c1fea ≠ 테스트 rev 2eeec322 점검.
3. 시드 2~3개 추가 — Δ들을 시드 노이즈(논문 ±1.40)와 구분.