Worker Triton JIT 실패 분석 (job 80517)

TL;DR

본 학습 80517이 시작 6분 만에 사망 — RuntimeError: Failed to find C compiler ×673 (torch inductor/Triton 런타임 컴파일, 기본 ubuntu:22.04 worker에 gcc 없음 = 클러스터 가이드 §13 함정)
sacct는 COMPLETED로 표시 (template.sh가 exit code를 삼킴) — 로그로만 판별 가능. 로그 위치도 제출 cwd 기준 MolmoBot/slurms/
수정: --container=nvcr.io/nvidia/cuda:12.8.0-devel-ubuntu22.04 (gcc+nvcc). 1 GPU worker 스모크 80865 제출 (클러스터 0/120 여유라 대기 중)
wandb TLS 우회는 worker에서 정상 동작 확인. 트레이너에 주기적 중간 평가는 없음 (loss + 1000 step ckpt만) — held-out val 채점 스크립트 별도 작성 예정

1원인 체인

로그인 100-step 스모크는 통과했지만 worker에서 죽은 이유: venv는 이미지 독립적이어도 런타임 JIT는 이미지의 컴파일러에 의존. torch inductor(max-autotune)가 Triton 커널의 C 런처 스텁을 런타임 컴파일하는데 worker 이미지에 gcc가 없음. 로그인 노드에는 빌드 도구가 있어 재현이 안 됐던 것.

[rank*] RuntimeError: Failed to find C compiler. Please specify via CC environment variable. (×673) → torchrun ChildFailedError, rank1 exitcode 1, elapsed 6m37s, sacct: "COMPLETED"

2조치

항목	내용
컨테이너	`nvcr.io/nvidia/cuda:12.8.0-devel-ubuntu22.04` (§13 권장, gcc+nvcc, cu128 torch와 일치, NGC pre-cached)
auto-resume 함정 정리	실패 런이 남긴 `wandb_id.txt` 삭제 (ckpt 없이 auto-resume → FileNotFoundError 방지)
검증 순서	1 GPU worker 스모크(80865, 100 step) → 통과 시 8 GPU 본 학습 재제출

이전 세션 교훈이 그대로 적용됨: "sacct COMPLETED는 성공의 증거가 아니다" — 산출물·로그로 판별. 이번에 로그 위치 함정(제출 cwd 상대경로)도 추가 확인.