EgoDex hand 리더 → OpenWAM 학습 스모크 (20 step)

Index

TL;DR

20/20 step 완료, 에러 없음: 리더 → 학습 → 체크포인트 저장까지 end-to-end 통과.
loss: video 0.018→0.335, action 1.543→0.121 (step 1→20, batch 2라 step별 변동 큼).
체크포인트 24.8 GB(safetensors), α 체크포인트와 동일 크기.

20/20

steps

~1.1

step/s (참고)

24.8GB

ckpt

1 배경 / 목적

전체 split 전처리 완료를 기다리기 전에, 새로 만든 손 action 리더가 Wan2.2-5B + ActionDiT(mutual) 학습 → 체크포인트 저장까지 끝까지 도는지 확인.

2 작업 내용

환경: 로그인 GPU 6 (시작 시 9 MiB 사용), timeout 2400 training.debug=true (max_steps 20, step 10/20 저장, constant LR 1e-4) dataloader=egodex_hand, batch 2, num_workers 4 ZeRO-2, bf16, grad checkpointing Wan 가중치: 공유 HF 캐시 models--Wan-AI--Wan2.2-TI2V-5B/snapshots/* (원본 Wan 레이아웃 그대로 로드) 스크립트: scripts/train_egodex_hand.sh (Hydra override 패스스루) 로그: tmp/smoke/smoke1.log, 출력: tmp/smoke/ckpt/2026-10-22_16-03-27_debug/

20 step ≤ 100 step 디버그 한도 내 실행. 공유 GPU이므로 속도는 벤치마크가 아님.

3 결과

지표	step 1	step 20	범위 / 비고
완료 step	20/20, 에러 없음		~1.1 step/s (batch 2, 1 GPU)
video loss	0.018	0.335	전 구간 0.02–0.98
action loss	1.543	0.121	step마다 0.12–3.0 출렁임(서로 다른 window)
grad_norm	1.8–11		clip 1.0
checkpoint	24.8 GB safetensors + config.yaml + tokenizer		α 체크포인트와 동일 크기

주의: 20 step, batch 2에서의 loss는 수렴 신호가 아님(단일 샘플 노이즈 지배).

4 Takeaway

의미

손 action 리더가 OpenWAM 학습 경로(unify 80-D, step×dim 마스크, proprio 토큰)와 맞물려 동작. 본 학습을 sbm으로 바로 제출 가능한 상태.

5 Next Steps

초기 가중치

Wan2.2 / pretrain_two_stage_ego / α 중 결정 → 체크포인트 다운로드(각 24.8 GB) 후 training.finetune_ckpt_path.

다음 실험

test-only 8 GPU 짧은 run(수천 step)으로 loss 곡선과 생성 영상/action 확인 → 전체 split 완료 후 pooled stats로 본 학습. 스모크 ckpt 24.8 GB는 확인 후 삭제 예정.