Friday · 2026-05-22

Daily Progress

활성 프로젝트 1
Git 커밋 0
SLURM 작업 14
GPU 사용 VGGRPO (4×)

오늘의 우선순위

TL;DR

VGGRPO 외 전 프로젝트 git 커밋·문서 변경 없음. 어제 활동은 VGGRPO에 집중됐고 SLURM 14건 전부 PREEMPTED/CANCELLED — 실질 학습 진전 없음.

초반 2건(6695·6696, own QOS)은 admin(uid 10010)에 의해 3h20m 만에 강제 취소됐으며, 이후 share QOS로 전환해 자동 재시도했으나 평균 30분 미만 실행 후 계속 preempted.

Job 6881만 4h58m으로 최장 실행됐지만 종료 시 _local_scalar_dense_cuda CUDA segfault 확인. DA3 v1 loss 학습 중 gradient scalar 연산에서 오류 발생 가능성.

현재 실행 중인 job 없음. frappe(목표 목록 외) 만 6h56m COMPLETED.

프로젝트별 현황
VGGRPO
High SLURM ×14 CUDA Error
어제 활동
Job 6695 — train_lgm_robocasa_v0.sh (own QOS, 4 GPU). step 12720/50000 진행 중 admin 강제 취소 (3h20m). 마지막 loss ~0.31 (d=0.19 p=0.11 sf=0.02).
Job 6696 — train_lgm_robocasa_da3_v0.sh (own QOS, 4 GPU). 동시 취소(3h18m). 출력에 CUDA stack trace 포함.
Job 6697 → 6945 (12건) — train_lgm_robocasa_da3_v0_lossv1.sh. extra(1건) → share(11건) 전환 후 자동 재시도. 평균 실행 24min. Job 6881이 4h58m으로 최장.
Job 6881 CUDA segfault — _local_scalar_dense_cuda → cuStreamSynchronize 4-rank 동시 crash. gradient scalar item() 호출 시 발생 추정.
robocasa_v0 last step12720 / 50000
robocasa_v0 loss~0.31
DA3 v1 최장 실행4h 58m
preempt 횟수12
✕ _local_scalar_dense_cuda segfault (job 6881). DA3 v1 loss 내 .item() 호출 또는 scalar 변환 지점 확인 필요. loss 로그 수치로 보면 NaN/Inf gradient 가능성.
△ share QOS 환경에서 평균 24min마다 preempted. 현재 cluster idle GPU 없음 (squeue 비어 있음). own QOS 여유 생기면 즉시 제출 권장.
오늘 할 일
scripts/train_lgm_robocasa_da3_v0_lossv1.sh 내 .item() / scalar 변환 코드 확인 → CUDA error 재현 후 수정
RoboCasa v0 (job 6695 step 12720)를 own QOS로 재시작 — 50K step 완주 목표
DA3 v1 vs v2 loss ablation — v1 CUDA bug 수정 후 v2와 함께 장기 실행 비교 (context.md Phase 2 RL 선행 조건)
DreamData
Medium
현재 상태
Stage 1 진행 중. Multi-view layout 비교 실험 (A/B/C × T2V/I2V). Layout A + I2V 최선 확인.
어제 활동

Git 커밋 없음 · 문서 변경 없음 · SLURM 미확인

△ context.md 기재 실험 38361(Layout B)·38513(Layout C i2v)이 sacct에 미노출. 완료 여부 확인 필요.
오늘 할 일
Layout B·C 학습 결과 확인 → 전체 A/B/C 비교표 작성
전처리 v2 적용 검토 (motion crop + task-balanced sampling)
EgoX_wan2.2
Medium
현재 상태
Phase 2 LoRA 학습 진행 중 (81프레임). Training collapse 버그 수정 완료(260408).
context.md 기재 job 37398(Phase 2, 8GPU)·38197(PENDING) 상태 미확인.
어제 활동

Git 커밋 없음 · 문서 변경 없음 · SLURM 미확인

오늘 할 일
job 37398 loss curve 확인, validation 이미지 정성 평가
Phase 2 expert swap 정상 동작 검증 (phase1_lora_path 경로 확인)
EgoX_wan2.2_long
대기
현재 상태
구현 미착수. EgoX_wan2.2 81f 학습 안정화 후 착수 예정. 계획 문서만 완료.
어제 활동

No activity

Graph_VLM
Low
현재 상태
Query plan 3-bug fix 완료(4/20). 다음 단계: Tier 2 그래프 빌드 개선.
hardfilt10 hard 5개 재집계: Graph 40% vs Describe 20% (+20%p 우위).
어제 활동

No activity

오늘 할 일
Tier 2 그래프 빌드 착수: visual position attribute + occurrence count
EgoX2
Low
현재 상태
context.md 없음. 3D consistency 개선 실험 방향으로 알려져 있음.
어제 활동

No activity

SLURM 작업 요약

2026-05-21 ~ 2026-05-22 (최근 1일)

Job ID 프로젝트 실행 명령 GPU QOS 상태 실행 시간
6695 VGGRPO train_lgm_robocasa_v0.sh 4 own CANCELLED 03:20:37
6696 VGGRPO train_lgm_robocasa_da3_v0.sh 4 own CANCELLED 03:18:36
6697 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 extra PREEMPTED 00:17:18
6708 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 00:10:22
6720 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 00:16:23
6729 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 00:19:00
6738 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 00:11:01
6741 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 01:01:00
6778 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 00:40:53
6780 frappe (목록 외) finetune_mid.sh 8 own COMPLETED 06:56:38
6783 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 01:01:00
6846 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share PREEMPTED 00:32:31
6881 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh ★ 4 share PREEMPTED 04:58:30
6945 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh 4 share CANCELLED 00:01:32
★ job 6881: _local_scalar_dense_cuda CUDA segfault 4-rank 동시 crash · 현재 실행 중인 job 없음