45K 최종 평가 파이프라인 정비 — 조용한 폴백 차단과 종료 지점 재검토

1 배경 / 목적

30K 프로브까지 약 7시간, 45K 최종 평가까지 약 25~29시간이 남았다. 그 유휴 시간에 최종 평가 경로를 미리 밟아보기로 했다. 15K 프로브 때 DCP 로딩 버그를 45K가 아니라 2500에서 잡아 57 GPU-시간을 아낀 경험이 있어서다.

2 작업 내용

2.1 발견 — 에러가 아니라 조용한 폴백

scripts/eval_robocasa_seeds.sh가 srun 자식에게 넘기는 것은 네 개뿐이었다:

그리고 eval_robocasa.sh는 다음 기본값을 갖는다:

따라서 ARM=armAit45000 bash scripts/submit_arm0.sh는 에러 없이 실행되고, 24개 job 전부가 공개 체크포인트를 평가한 뒤 결과에 우리 arm 라벨을 붙인다. Arm 0 재현값이 66.9%였으므로 나오는 숫자는 ~67% — “우리 모델이 논문 수준을 재현했다”로 읽히는, 완전히 틀린 결과.

2.2 공용 리졸버로 차단

같은 arm→체크포인트 매핑이 eval_ckpt_job.sh와 submit_ckpt_evals.sh에 각각 하드코딩돼 있어 세 번째 사본이 생길 참이었다. 한 곳으로 모았다.

arm<A|B>it<N>은 프로브가 이미 run_id_note에 쓰던 문자열이라, 프로브 · 최종 평가 · collector가 하나의 규칙을 공유하게 됐다 (--arm armAit45000 하나로 집계).

eval_robocasa_seeds.sh는 .pt가 없으면 변환 명령을 알려주며 즉시 실패한다. 여기서 변환하지 않는 이유: 24개 job이 같은 3.7GB 파일에 동시에 쓰게 된다.

2.3 순서를 강제하는 드라이버

2.4 라이브 경로를 깨지 않았는지

eval_ckpt_job.sh와 submit_ckpt_evals.sh도 리졸버를 쓰도록 바꿨는데, 이 둘은 7시간 뒤 30K 프로브를 자동 제출해야 하는 라이브 경로다. 경로 문자열이 한 글자라도 틀리면 [ -d ... ] 검사가 조용히 실패하고 30K 프로브는 영원히 제출되지 않는다.

sbm과 마커 디렉토리를 스텁으로 바꾼 사본으로, 이미 존재하는 iter_000022500에 대해 탐지→제출 경로가 실제로 발화하는지 확인했다.

3 결과

라이브 큐 부작용 0건 — 테스트 중 잘못 생성된 srun 할당이 없는지 squeue로 확인했다.

학습 상태 (08-07 10:15)

4 Takeaway

5 Next Steps