EgoX-LongLive 10K step 학습 및 체크포인트 평가

TL;DR

10,000 step 완료, 9h58m, 3.3 s/step, 36.1GB/GPU, 발산 없음 (grad_norm 0.13~0.27)
train loss 구간 평균 0.2368→0.2236 (1–2K → 8–10K)
609f in-the-wild 생성: 1 GPU 7~16분

0.224

loss @8–10K

10K

steps

9h58m

wall time

609f

long gen

1 배경 / 목적

이식한 EgoX-LongLive(causal, teacher forcing)를 81f_100k 데이터로 full fine-tune하고, 체크포인트별 EgoExo4D val(81f)과 in-the-wild 장영상(609f)에서 생성 품질을 확인한다. 목표: causal AR 모델이 20초 영상을 chunk 이음 없이 생성 가능한지.

2 작업 내용

init_ckpt: LongLive-2.0-5B/model_bf16.pt (Wan2.2-TI2V-5B causal) data: EgoX_wan2.2_long/dataset/81f_100k (99,587 clips), 81f, exo 448x768 / ego 448x448 lr 1e-5, wd 0, betas (0.0, 0.999), batch 1/GPU x 4 GPU, max_grad_norm 10, max_iters 10000, save 1000 flow loss, timestep_shift 5, teacher_forcing, num_frame_per_block 3 error recycling: 50 buckets x 200, warmup 50 it, context/latent inject 0.9, noise 0.01, clean_prob 0.2 FSDP full shard + grad checkpointing, bf16 제출: sbatch --qos=own --gres=gpu:4 -c 32 --mem 800GB --time 1-00:00:00 --container=nvcr.io/nvidia/cuda:12.8.0-devel-ubuntu22.04 (job 190775) 평가: eval_ckpt.sh (val 4 clips x 81f), eval_wild.sh (YouTube 609f, ViPE+SAM3D prior), share QoS 1 GPU

container 이미지는 Triton/FlexAttention JIT용 컴파일러 필요 때문에 cuda devel 사용.

3 결과

step 구간	mean train loss
1–2000	0.2368
2001–4000	0.2325
4001–6000	0.2280
6001–8000	0.2269
8001–10000	0.2236

학습: job 190775, 9h58m, 10,000 step 완료, 3.3 s/step, mem 36.1GB/GPU, grad_norm 0.13~0.27 (발산 없음). step 4800 부근 11.95 s/step 1회 스파이크(일시적 I/O 추정). 체크포인트 1000~10000 (10개) 저장.

평가 job	대상	상태/시간
191058 (share)	s1000 val	PREEMPTED @10m30s → 재제출
191216	s1000 val + 609f in-the-wild 클립	COMPLETED 22m31s (609 frames mp4 저장)
191252/191347/191633	val 81f s(중간 ckpt)/s10000	COMPLETED 14m/15m31s/12m17s
191253/191258/191348/191440~442/191634	wild 609f (s1000~s10000)	COMPLETED 7~16분, 40-step 샘플링 ~8 it/s

한계: 정량 지표(PSNR/LPIPS 등)는 아직 미산출. 평가는 생성 mp4와 contact sheet(tmp/*.jpg) 육안 확인 단계. loss 0.237→0.224 (-5.6%)는 완만 — noise level이 섞인 flow loss라 수렴 판단 근거로 약함.

4 Takeaway

causal LongLive 기반 EgoX full fine-tune이 4 GPU 10시간(≈0.4 epoch)에 안정 수행 가능. 609f(51 block) 생성이 1 GPU에서 7~16분이라 장영상 추론 비용은 허용 범위. 품질 우열은 정량 평가 이후 판단.

5 Next Steps

val 81f 대상 PSNR/SSIM/LPIPS + 기존 EgoX_wan2.2 대비 비교 표 작성 (s1000 vs s10000)
609f에서 후반부 drift / error accumulation 정량화 (구간별 prior 정합도)
0.4 epoch 이상으로 연장 학습 여부 결정 (loss 완만 감소)