Long-WAM step 5000 평가

Index

TL;DR

성공률 상승: step 1400 1/29 → step 5000 12/30 (demo_clean, 10 ep)
태스크별: click_bell 6/10, adjust_bottle 6/10, lift_pot 0/10 (공개 체크포인트는 모두 5/5)
학습: 5590 / 29,880 update, 시간당 약 46 update

12/30

Step 5000

1/29

Step 1400

15/15

공개 ckpt

18.7%

학습 진행

1 배경 / 목적

step 1400이 1/29라 "이른 것"과 "설정 문제"를 가르기 위해 보호 체크포인트 5000을 같은 조건으로 평가. 공개 레시피는 다른 WAM(Lingbot-VA/Zero-WAM, 약 150 GPU-시간) 대비 약 18배(약 2,700 GPU-시간)라 중간 성공률이 끝까지 갈지 판단 근거.

2 작업 내용

script: scripts/robotwin2/eval_ckpt_b200.sh (STEP → 하드링크 번들 → eval_worker_b200.sh, 체크포인트 없으면 exit 3) job: 187790, --begin=now+58hours, --time 5:00:00, demo_clean, 3 tasks x 10 episodes

3 결과

체크포인트	lift_pot	click_bell	adjust_bottle	합계	평가 시간
공개 robotwin2_idm (5 ep)	5/5	5/5	5/5	15/15	20분
step 5000 (10 ep)	0/10	6/10	6/10	12/30	1시간 15분
step 1400 (10 ep)	0/10	1/10	0/9	1/29	2시간 초과

4 Takeaway

1400 → 5000에서 성공률이 올라와, 학습이 정책으로 이어지고 있음. 설정 문제 가능성은 크게 줄어듦.

lift_pot만 0/10 유지. 공개 체크포인트는 5/5라 추가 학습이 필요하거나 별도 원인이 있음.

5 Next