Long-WAM RoboTwin 풀 학습 중간 점검

TL;DR

학습 진행: job 183219, 1540 / 29,880 update, loss 2.51 → 0.19, 남은 약 26일
중간 평가: step 1400은 demo_clean 3 태스크 1/29. 공개 체크포인트는 15/15
해석: 전체의 4.7% 지점이라 이른 것인지 설정 문제인지 아직 구분 불가. step 3000 / 5000에서 재평가

1540/29,880

Update

2.51→0.19

Train loss

1/29

Step 1400 성공

약 26일

남은 시간

1 배경 / 목적

공개 Robot-S video expert에서 출발해 공개 robotwin2_idm이 재현되는지 확인하는 본 학습. 공개 레시피는 eval_every: 0이라 train loss만 남으므로, 중간 체크포인트를 시뮬레이터에서 직접 평가.

2 작업 내용

train: scripts/robotwin2/train_b200.sh — 4 GPU x batch 16 x accumulation 16 = 1024, lr 1e-4, 5 epoch save: 100 update마다, 최근 3개 유지, 5000/10000/15000/20000/25000 보호 jobs: 183219 (2026-10-09 04:12 시작, own) + afterany 체인 183221 → 183222 → 183223 → 183224 eval: step_001400 하드링크 번들 + 학습 산출 config.yaml, demo_clean 10 에피소드 (job 186108, --time 2:00:00)

클러스터 사고 (10-09): 첫 체인은 100 update 후 NODE_FAIL(저장 전), 이후 재제출 5건이 k8s_apply_err로 수 초 내 취소. 복구 후 183219부터 정상이며 저장 주기를 250 → 100으로 축소.

3 결과

Train loss (job 183219)

update	loss	action	video
10	2.51	2.23	0.28
210	1.17	0.97	0.20
410	0.38	0.20	0.18
810	0.25	0.089	0.16
1410	0.21	0.051	0.16
~1540	0.19~0.20	0.031~0.038	0.15

시뮬레이터 성공률 (demo_clean)

체크포인트	lift_pot	click_bell	adjust_bottle
공개 robotwin2_idm (181500, 5 ep)	5/5	5/5	5/5
step 1400 (186108, 10 ep)	0/10	1/10	0/9 (시간 초과 중단)

평가 시간: 실패 에피소드는 스텝 한도 400까지 돌아 태스크당 34~49분. 2시간 제한에 걸려 TIMEOUT. 공개 체크포인트는 3 태스크 합계 20분.

4 Takeaway

loss는 단조 감소하지만 action loss 0.05가 성공률로 이어지지는 않음. 0.23 epoch 시점의 1/29만으로는 "아직 이르다"와 "설정이 어긋났다"를 구분할 수 없음.

학습 산출 config.yaml로 평가가 그대로 로딩·실행되어 중간 평가 경로는 확보.

5 Next

step 3000 전후와 5000에서 같은 3 태스크 재평가(--time 4시간 이상)
5000에서도 0 근처면 ActionDiT 랜덤 초기화 영향과 평가 config/stats 정합성 점검
7일 경계에서 eval_every를 켤지 결정

Long-WAM RoboTwin 2.0 풀 학습 중간 점검