Layout × Conditioning · 50+ SLURM Jobs

DreamData — Experiments

260406-260412 · MG-30 LoRA finetune · 14B I2V · 4×B200 DDP

SLURM Jobs50+

GPU·h~230h

Hardware4×B200

Preempt %~50%

Step Target8000

실험 목적

이번 주는 Layout A/B/C × T2V/I2V 6셀의 학습 실험을 동시 진행하면서, SLURM preemption / 체크포인트 안정성 / 14B 모델 분산 학습의 인프라 한계를 측정하는 것이 목표였다. 50+ SLURM 작업이 제출되었고 약 절반이 preemption으로 끊겼지만 그 자체가 "분산 학습 안정화 인프라"의 필요성을 정량화했다.

Configuration (Hyperparams)

Param	T2V (1.3B)	I2V (14B)	근거
LoRA rank	32	32	finetrainers default · GPU 메모리 마진
LoRA alpha	32	32	rank=alpha (scaling=1)로 학습 안정화
target modules	attention	attention	self+cross attn만 → vision 특성 유지
optimizer	AdamW	AdamW	—
lr	5e-5	5e-5	diffusion LoRA 표준값
warmup	100	100	—
batch_size	8	2	14B는 VRAM 한계로 강제
grad_accum	1	4	effective batch 32 유지
train steps	8000	8000	—
GPUs	4× B200 DDP	4× B200 DDP	own quota 한계
precompute items	500	500	—

주요 SLURM 작업 (대표 24건)

Job ID	Project	State	Elapsed	Period	Cmd
35493	DreamData	COMPLETED	1d 02:58	04-05 11:00 → 04-06 13:59	scripts/train_MG30_layout_{A,B,C}{,_i2v}.sh scripts/precompute_embeddings.py
35494	DreamData	COMPLETED	1d 04:05	04-05 11:53 → 04-06 15:58
37401	DreamData	COMPLETED	13:50	04-07 13:58 → 04-08 03:49
37402	DreamData	COMPLETED	03:51	04-07 14:00 → 17:52
37651	DreamData	PREEMPTED	23:40	04-07 17:52 → 04-08 17:32
37988	DreamData	PREEMPTED	06:52	04-08 11:43 → 18:36
37990	DreamData	PREEMPTED	06:58	04-08 11:44 → 18:42
38019	DreamData	COMPLETED	03:41	04-08 13:39 → 17:20
38161	DreamData	COMPLETED	01:17	04-08 18:08 → 19:26
38189	DreamData	COMPLETED	04:18	04-08 19:26 → 23:44
38207	DreamData	COMPLETED	08:03	04-08 20:18 → 04-09 04:21
38208	DreamData	PREEMPTED	14:05	04-08 22:22 → 04-09 12:28
38360	DreamData	COMPLETED	06:39	04-09 01:07 → 07:46
38361	DreamData	PREEMPTED	14:22	04-09 01:07 → 15:29
38528	DreamData	PREEMPTED	12:21	04-09 14:02 → 04-10 02:23
38676	DreamData	PREEMPTED	16:37	04-09 21:13 → 04-10 13:50
39404	DreamData	PREEMPTED	11:54	04-10 13:46 → 04-11 01:40
39405	DreamData	PREEMPTED	11:53	04-10 13:47 → 04-11 01:40
41049	DreamData	CANCELLED	06:14	04-11 14:07 → 20:22
41356	DreamData	PREEMPTED	06:56	04-11 20:12 → 04-12 03:09
41383	DreamData	PREEMPTED	09:08	04-11 20:30 → 04-12 05:39
42199	DreamData	PREEMPTED	10:39	04-12 12:17 → 22:56
42200	DreamData	PREEMPTED	10:33	04-12 12:27 → 23:01
42201	DreamData	CANCELLED	14:01	04-12 23:01 → 04-13 13:02
42977	DreamData	RUNNING	~01:48+	04-13 13:02 → ...

GPU 사용 분석

총 wall time: DreamData 단독으로 약 230 GPU·시간 이상 (4 GPU × ~58h 누적). 짧은 job 다수 미포함.
Preemption 비율: 50+ job 중 약 50% PREEMPTED, 25% CANCELLED, 25% COMPLETED. own quota 초과로 extra QOS 강등이 잦음.
효율성: step 진행률 기준 효율은 ~50% — preemption된 작업의 일부는 resume으로 회수, 나머지는 .metadata 누락으로 step 손실.

Ablation Insights

I2V conditioning이 우세한 신호 (analysis 카드 참조). 14B 학습이 batch=2에서도 안정 수렴.
External precompute 효과 — 분리 후 multi-GPU SIGKILL 사례가 크게 감소.
Layout C 체크포인트 손상은 단발성 — 디스크 동시쓰기 race condition 추정. 재학습으로 회수 예정.

해결된 / 미해결 이슈

해결

torchvision.io.video_reader 호환성
datasets.Video() torchcodec → decord 교체
validation scheduler CPU/GPU 혼재 → FlowMatchEulerDiscreteScheduler 통일
해상도 16배수 (192×960, 352×640)
MAX_PRECOMPUTABLE_ITEMS_LIMIT → 100,000
multi-GPU precompute 재진입 시 transformer CPU 이동 패턴 정리

미해결

precompute 재진입 시 간헐적 SIGKILL
PREEMPTION으로 인한 학습 중단 — 클러스터 환경 한계
체크포인트 .metadata 누락 (간헐적)
ftfy 등 의존성 ad-hoc 설치