Daily Progress Report

2026-06-19 금요일

2 활성 프로젝트
0 커밋 (대상 6종)
13 SLURM 작업
2 현재 RUNNING
20 GPU 현재 사용 중

오늘의 우선순위

TL;DR

어제(2026-06-18)의 실제 작업은 지정 6종 외 2개 신규 프로젝트에 집중됐다. FastWAM(Wan2.2 기반 World-Action Model)은 robocasa mg3000 24-task 학습에서 GPFS 병목(GPU util 15%)을 발견, 워커 시작 시 54GB를 /tmp/rc로 복사하는 local scratch 전략으로 전환 후 job 20957(8 GPU, own)을 현재 17h+ 구동 중이다.

fast-delta-wam은 하루 만에 연구 → 워크스페이스 구축 → 5B 구현 → 스모크 통과 → 추론 경로 검증까지 완료했다. "delta token이 future를 attend하지 않으므로 inference에서 future를 제거해도 delta 출력이 동일하다"는 핵심 정리가 최대 편차 2.4e-7로 수치 증명됐다. job 20961(main) RUNNING, job 20962(ablation: attend_future) PREEMPTED.

지정 6종(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM, VGGRPO)은 어제 커밋·문서 변동 없음. 다수는 이전 세션에서 학습/분석을 완료한 상태로 대기 중.

활성 프로젝트
FastWAM
● RUNNING High
Wan2.2-TI2V-5B World-Action Model → robocasa mg3000 (24 task, 70,492 ep) 학습. EgoX_wan2.2와 동일 Wan2.2 base.
어제 한 일
  • 20931: 파일럿 3-task smoke (8 GPU) → COMPLETED 4m26s, loss 1.64→0.41(step100) 정상
  • 20932/20934: torchcodec 임포트 진단 (1 GPU) → COMPLETED, decord/cv2 not found 확인
  • 20935: 파일럿 재실행 → CANCELLED by user (GIT_PYTHON_REFRESH 추가 후)
  • 20948: 풀 24-task NAS 직접 학습 (8 GPU, own) → CANCELLED 1h4m. GPU util 15%, ~0.87s/step 확인 → GPFS 병목 판정
  • 20957: local scratch 전략 — 워커 시작 시 24 task(54GB) /tmp/rc 복사(75초 예상) 후 학습. num_workers=14, prefetch_factor=6 설정 → RUNNING 17h13m+
오늘 할 일
  • sjob -w 20957 — GPU util 개선 확인 (목표: 15% → 60%+)
  • step 수 / loss curve (slurms/robocasa_local_20957.out) 확인
  • 학습 정상이면 24-task 풀런 유지. GPU util 여전히 낮으면 num_workers 추가 조정
Job 20957 · 8 GPU · own QOS · /tmp/rc local scratch · 3-day limit
fast-delta-wam
● RUNNING High
Idea 2: train-full-future / infer-delta-only. FastWAM MoT에 learnable delta token 추가 → inference 시 video rollout 없이 action 예측.
어제 한 일 (연구→구현→검증 full cycle)
  • Research: Idea 2 컨셉 공식화 — inverse↔forward 함정 + causal 해법 정립 (delta token이 future를 절대 attend 안 함)
  • 워크스페이스 부트스트랩: FastWAM 코드 격리 복사(src 48.py, configs 16개), 심볼릭링크(checkpoints 34G, data), conda env clone(fast-delta-wam) + editable 재설치
  • Delta token 구현: wan_video_dit.py(pre_dit 삽입 + mask 비대칭 + post_dit strip) + fastwam.py(MoT 마스크 + MSE regularizer) + runtime.py + config 2종
  • 단위 테스트 4/4 PASS → 5B 3-step smoke EXIT=0 — loss_delta 유한(0.26~0.35)
  • 추론 경로 구현: delta_inference 플래그 (f=1이어도 delta 삽입) + infer_action 배선
  • 핵심 정리 수치 증명: train(frame0+future) vs infer(frame0만) delta hidden 최대 차이 2.384e-07 → distribution shift 0
  • Ablation 준비: delta_attend_future 플래그 + config robocasa_delta_attendfuture 추가
  • Job 20961(main δ=frame0-only) RUNNING 17h5m, Job 20962(ablation attend_future) PREEMPTED 10h53m
오늘 할 일
  • sjob 20961 — loss_delta 수렴 여부 첫 확인. 붕괴/NaN 시 즉시 대응
  • job 20962 재제출 (ablation): sbmr 5 "bash scripts/train_zero1.sh 4 task=robocasa_delta_attendfuture_7d_1e-4 ..." --gres=gpu:4 -c 32 --mem 800GB --qos=extra
  • ckpt 저장 후 open-loop action MSE 비교 인프라 구축 (main vs ablation 가설 검증 본체)
  • infer-delta-only 5B smoke (slurm 1 GPU, tmp/smoke_infer_delta.py) 공식 확인
Job 20961 · 4 GPU · extra QOS · robocasa_delta_7d_1e-4 (main) · Job 20962 PREEMPTED (재제출 필요)
대상 프로젝트 (어제 활동 없음)
DreamData (GR00T-Dreams) No Activity
IDM pseudo-action 역추정 + Cosmos-Predict2 비디오 생성으로 로봇 데이터 증강 (DreamGen 파이프라인).
어제 커밋·문서 변동 없음. Pi0.5 ref 트랙(B0_ref/B2_ref, 260508) 셋업 완료 상태로 학습 미시작. 현재 최고 성능: Pixel v2_8gpu MG-30 134.8 mm EEF (5 ep, leakage 없음). 다음: B0_ref 200-step smoke → sbm 본 학습.
EgoX_wan2.2 No Activity
Wan 2.2 base model로 ego+wrist 뷰 동시 생성. 2-Phase LoRA (고노이즈/저노이즈 expert 순차 학습).
어제 커밋·문서 변동 없음. context 기준 job 37398(Phase 2, 2d+), 38197(PENDING)이 있으나 sacct에 미조회됨 — 종료됐을 가능성. Phase 2 validation(expert swap) 결과 확인 필요. 81f training collapse 버그(scene_name 파싱) 수정 완료 상태.
EgoX2 No Activity
EgoX 3D consistency 개선 실험 (원본 Wan 2.1 기반).
context.md 없음. 어제 커밋·문서 변동 없음. 활동 이력 불명.
EgoX_wan2.2_long No Activity
EgoX_wan2.2를 임의 길이 비디오로 확장. clean latent condition으로 autoregressive chunk 생성.
구현 미착수. EgoX_wan2.2 81f 학습 안정화 확인 후 착수 예정. 마지막 커밋 2026-03-10.
VGGRPO No Activity
4D geometry reward로 diffusion model을 GRPO fine-tune. 3D-consistent ego-view 비디오 생성.
어제 커밋·문서 변동 없음. DA3 v2 paper-aligned loss (job 3219) 학습 중이었으나 현재 상태 불명. Phase 4 RL fine-tuning plan 확정 (260510/512) — base: Cosmos-Predict2-2B robocasa-MG30 iter 73.2K. LGM 대신 DA3 직접 RGB 3-cam 입력 → reward 경로 확정.
Graph_VLM No Activity
시공간 그래프 기반 long-term memory VQA. EPIC-KITCHENS P01_01(27.5분) egocentric 비디오.
마지막 활동 2026-04-20. Query plan V3 infra 구축 완료 상태. 최근 벤치마크: L34hard10 Graph 4/10 (40%) vs Describe 70%, Frame-300 60%. Tier 2 (그래프 빌드 개선: visual position, occurrence count, container edges) 착수 전.
SLURM 작업 요약 (2026-06-18 ~ 2026-06-19)
Job ID 프로젝트 실행 명령 (task) GPU QOS 상태 실행 시간 노드
20957 FastWAM train_zero1.sh robocasa_uncond_7d_1e-4_local (24-task /tmp/rc) 8 own RUNNING 17h13m+ n8
20961 fast-delta-wam train_zero1.sh robocasa_delta_7d_1e-4 (delta main) 4 extra RUNNING 17h05m+ -
20962 fast-delta-wam train_zero1.sh robocasa_delta_attendfuture_7d_1e-4 (ablation) 4 extra PREEMPTED 10h53m -
20948 FastWAM train_zero1.sh robocasa_uncond_7d_1e-4 (24-task NAS, 취소됨) 8 own CANCELLED 1h04m n8
20935 FastWAM train_zero1.sh robocasa_uncond_7d_1e-4 (파일럿, GIT_PYTHON_REFRESH) 8 extra CANCELLED 24m46s -
20931 FastWAM train_zero1.sh robocasa_uncond_7d_1e-4 (파일럿 smoke) 8 extra COMPLETED 4m26s -
20956 fast-delta-wam train_zero1.sh robocasa_delta_attendfuture_7d_1e-4 (파일럿) 4 extra COMPLETED 3m56s -
20955 fast-delta-wam train_zero1.sh robocasa_delta_7d_1e-4 (파일럿) 4 extra COMPLETED 3m54s -
20960 fast-delta-wam deltadiag3 (codec/import 진단) 1 extra COMPLETED 44s -
20958 fast-delta-wam deltadiag (codec/import 진단) 1 extra COMPLETED 38s -
20932 FastWAM rc_diag (robot_video_dataset import) 1 extra COMPLETED 39s -
20934 FastWAM rc_diag2 (import 재진단) 1 extra COMPLETED 11s -
20959 fast-delta-wam deltadiag2 (worker import) 1 extra COMPLETED 5s -