2026 · 05 · 25  /  Monday

Daily Progress

활성 프로젝트 3
Git 커밋 0
SLURM Jobs (3일) 50+
현재 RUNNING 4
집계 기간 05/22 (Fri) – 05/24 (Sun)

🔴 오늘의 우선순위

TL;DR — 금~일 (05/22–24) 핵심 요약

주말 기간 동안 FRAPPE와 MolmoAct2 두 프로젝트에서 대규모 디버깅 사이클 완료. FRAPPE는 native HDF5 파이프라인 구축 → 1차 eval 처참 (mid 5%, post 0%) → data format 감사로 gripper 정규화(×23 누락)와 BGR 채널 반전 버그 확인 → v2 재학습 완료(checkpoint-15000). 현재 v2 eval 중.

MolmoAct2는 EGL de-risk 완료 후 MG-3000 8GPU full-finetune 발사(job 7167, 2d16h+ RUNNING). 5k~70k 체크포인트 eval 순차 실행 중 max_steps 버그 발견(250→500 수정 시 CloseDrawer 25%→62.5%). 이전 eval 수치 전부 무효화, 수정된 eval로 80k 재측 중.

VGGRPO DA3 v1 job 6881은 share QOS로 PREEMPTED(4h58m). 나머지 6개 타겟 프로젝트(DreamData·EgoX_wan2.2·EgoX_wan2.2_long·EgoX2·Graph_VLM)는 주말 동안 SLURM 활동 없음.

프로젝트별 현황
Robotics / frappe
2 RUNNING High
금~일 작업 (260522–260524)
  • 260522: native HDF5 어댑터 (data/robocasa_hdf5_dataset.py) + lang embed 사전인코딩 완료. rollout eval 파이프라인 (eval_frappe_robocasa.py) 검증. DROID mid-train (job 6780, 8GPU, 6h56m) COMPLETED → checkpoint-15000.
  • post-train 8GPU MoE NCCL hang → 1GPU 필수 확인 (job 7044, 12m, COMPLETED). DROID 데이터는 eval 카메라 불일치로 폐기 결정.
  • 260524: 1차 HDF5 eval 처참 (mid-15000=5%, post-5000=0%). single-step action 정상(MAE 0.097) → 학습 bug 아님 → data format 감사.
  • Bug 2개 발견: ① gripper: qpos[:,0]/0.043 정규화 누락 (×23 scale 차이, 이전=raw 0.04 vs 정상=0.48~0.93). ② 이미지: BGR [...,::-1] 누락 (이전=RGB → SigLIP OOD). eval gripper cmd 부호 반전 + threshold 0.5→0.7도 수정.
  • v2 config 분리 + dataset_stat 재계산 (gripper slot mean 0.04→0.723). mid-v2 재학습: job 8500 CANCELLED(3h5m) → job 8634 COMPLETED(6h52m) → checkpoint-15000 완성.
5%
mid-v1 overall SR
0%
post-v1 overall SR
v2 ckpt-15000
mid 재학습 완료
오늘 할 일
  • Jobs 8842/9273 (mid-v2/post-v2 eval) 완료 대기 → SR 수치 확인. mid >20% 목표.
  • post-v2 학습 제출: sbm "bash finetune_post_1gpu_hdf5.sh" --qos=extra --gres=gpu:1 -c 8 --mem 200GB
  • 개선 부족하면 추가 감사 (lang wording, 이미지 resize 경로, eval render 해상도 256 vs 학습 128).
Robotics / molmoact2
2 RUNNING High
금~일 작업 (260522–260524)
  • 260522: EGL de-risk 완료 (job 7074, worker PASS). wandb TLS cert 버그 (SSL_CERT_FILE=certifi로 해결, job 7136 검증). MG-3000 full-finetune 발사 준비 3회 즉사 후 job 7167 (own, 8GPU) 안착. 현재 2d16h+ RUNNING.
  • v0.2 eval harness 구축 (eval_mac2_robocasa_v02.py). state 16-D 순서 실데이터로 확정. end-to-end eval 파이프라인 검증 완료.
  • 260523–260524: 체크포인트 eval 순차 실행: 5k/10k/15k/20k/25k/30k/40k/45k/50k/55k/60k/70k COMPLETED, 35k/65k PREEMPTED.
  • max_steps 버그 발견: eval max_steps=250~300, robocasa horizon=500~700 → 정책이 step 350~770에서 성공해도 timeout으로 0처리. CloseDrawer 250→500 수정 시 25%→62.5%. 이전 eval 수치 전부 무효화.
  • 수정: eval_mac2_robocasa_v02.py가 SINGLE_STAGE_TASK_DATASETS[task]["horizon"]로 max_steps 자동 설정. job 8810 (eval fix 080000) RUNNING.
2d 16h+
job 7167 RUNNING (8GPU)
25% → 62.5%
CloseDrawer (max_steps fix)
5k–70k eval
무효 (max_steps bug)
오늘 할 일
  • Job 8810 (eval fix 080000) 완료 대기 → 수정 후 첫 신뢰 가능한 24-task SR 수치.
  • 35k (7799 preempted) / 65k (8200 preempted) eval 재제출.
  • Job 7167 학습 진행 상황 wandb 확인 (현재 step 수 + loss 추이).
  • eval 결과 보고 SR이 단조증가하면 학습 계속 → 100k step 후 판단.
EgoW / VGGRPO
Medium
금~일 활동
  • Job 6881: train_lgm_robocasa_da3_v0_lossv1.sh (DA3 v1, 4GPU, share QOS) — 5/22 03:06에 PREEMPTED (4h58m). 재시도 job 6945 즉사(1m32m, CANCELLED by 64030).
  • DA3 v2 (paper-aligned loss, job 3219): context 기준 step 0+ 진행 중이나 최근 sacct에서 미확인. 로컬 상태 별도 확인 필요.
  • git commit 없음. Phase 4 (RL fine-tuning) sub-plan 260510 작성 완료 상태 유지.
오늘 할 일
  • DA3 v2 (job 3219) loss 곡선 확인 → v1 (job 2903) 대비 비교.
  • DA3 v1 재제출 (share → extra QOS로 preempt 감소) 또는 v2 완료 대기 후 ablation.
  • Phase 4 착수 조건: Cosmos ckpt 확인 + DA3 reward path 결정. Cosmos base 이미 있으므로 LGM 무관하게 sub-plan #1 Task 1(FF submodule)부터 착수 가능.
Robotics / DreamData
Low (legacy jobs)
금~일 활동
  • SLURM 활동 없음 (3일간). Context 상 jobs 38361 (Layout B T2V) / 38513 (Layout C I2V) 진행 중으로 기록 — 현재 sacct에서 미확인, 상태 점검 필요.
  • git commit 없음. 코드 변경 없음.
현재 상태
Stage 1 진행 중. Layout A+I2V 최선 결과. Layout B T2V / C T2V / C I2V 완료 대기. 전처리 v1 문제(7배속 재생) 미해결. Stage 2 (label decoder) 설계 미착수.
오늘 할 일
  • sacct -j 38361,38513 확인 → 생사 판단 후 필요시 재제출.
  • Layout B/C 완료 시 4-way 비교 (A T2V/I2V vs B T2V vs C T2V/I2V) 정성 평가.
EgoX_wan2.2
Low (ongoing train)
금~일 활동
SLURM 활동 없음. Context 상 jobs 37398 (Phase 2, 8GPU, 2d+) / 38197 (PENDING) — 현재 sacct 미확인, 상태 점검 필요. 81f training collapse 버그 수정 완료 상태 유지.
오늘 할 일
  • Job 37398 상태 확인 → loss curve + validation 이미지 정성 평가.
  • Phase 2 validation (expert swap) 정상 동작 여부 확인.
EgoX_wan2.2_long  /  EgoX2  /  Graph_VLM
No Activity
EgoX_wan2.2_long: 구현 미착수. EgoX_wan2.2 81f 안정화 선행 조건.  |  EgoX2: context 없음, 활동 없음.  |  Graph_VLM: 마지막 작업 4/20 (Query plan 3-bug fix). 다음: Tier 2 그래프 빌드 수정 (visual position, occurrence count).
SLURM 주요 작업 (05/22–25)
Job ID 프로젝트 실행 명령 GPU 상태 실행 시간
7167 molmoact2 train_mac2_robocasa_mg3000.sh 8 (own) ⬤ RUNNING 2d 16h+
8810 molmoact2 eval_mac2_robocasa_v02_24tasks.sh (fix_080000) 1 ⬤ RUNNING 3h 23m
8842 frappe run_frappe_eval_24tasks.sh (midtrain_v2_15000) 1 ⬤ RUNNING 3h 21m
9273 frappe run_frappe_eval_24tasks.sh (posttrain_v2_5000) 1 ⬤ RUNNING 24m
8634 frappe finetune_mid_hdf5.sh (v2, BGR+gripper fix) 8 COMPLETED 6h 52m
8841 frappe run_frappe_eval_24tasks.sh (midtrain_v2_15000, 1st) 1 COMPLETED 2h 55m
8498 molmoact2 eval_mac2_robocasa_v02_24tasks.sh (070000) 1 COMPLETED 1h 46m
7994 molmoact2 eval_mac2_robocasa_v02_24tasks.sh (045000) 1 COMPLETED 1h 48m
7594 molmoact2 eval_mac2_robocasa_v02_24tasks.sh (030000) 1 COMPLETED 2h 35m
7382 frappe finetune_mid_hdf5.sh (v2, 1차 시도) 8 COMPLETED 3h 9m
7215 frappe run_frappe_eval_24tasks.sh (midtrain_hdf5_3000, 4-task probe) 1 COMPLETED 49m
6780 frappe finetune_mid.sh (DROID mid-train v1) 8 (own) COMPLETED 6h 56m
8500 frappe finetune_mid_hdf5.sh (v2, CANCELLED by cluster) 8 CANCELLED 3h 5m
7166 frappe finetune_mid_hdf5.sh (PREEMPTED by own) 8 PREEMPTED 6h 42m
7799 molmoact2 eval_mac2_robocasa_v02_24tasks.sh (035000) 1 PREEMPTED 23m
6881 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh (DA3 v1, share QOS) 4 (share) PREEMPTED 4h 58m