Daily Progress

2026-05-06 · 수요일

2 Active Projects
0 Commits (1d)
6 SLURM Running
1 SLURM Pending

⬡ 오늘의 우선순위

TL;DR

DreamData / GR00T-Dreams

High
#6254 RUNNING 1d 8h #6273 RUNNING 1d 8h #6270 PENDING

어제 한 일

  • Pi0.5 B0 baseline 학습 시작 — real heldout 720 ep (scripts/launch_pi05_b0_real_full.sh), 4 GPU sub partition, sbmr 20-retry chain. RUNNING 1d 8h 44m
  • Pi0.5 B2 mix 학습 중 — synthetic mix (scripts/launch_pi05_b2_mix_full.sh). RUNNING 1d 8h 7m
  • B1 mid-eval @ step 15500 — 4-task (CloseDoubleDoor/CloseDrawer/TurnOnSinkFaucet/OpenDoubleDoor, 8 ep each): 0/32 (0%). loss=0.018로 학습 자체는 정상. 완료 step 20000 도달 후 24-task 전체 eval 예정.
  • Latent-IDM multistream ckpt-55K 최종: EEF 104.99 mm ⭐ (v3 multi-layer 110.9 mm 대비 −5.9 mm, 전체 best). 60K resume (Job 6216) 별도 진행.
  • PREEMPT 반복 — GR00T-Dreams 잡 6248/6454/6460/6472/6488/6789 등 10분 단위 preempt 후 재기동 반복.

오늘 할 일

  • B0 학습 진행 확인 — loss curve, checkpoint 저장 여부. outputs/pi05_b0_real_*/checkpoints/
  • B1 step 20000 완료 대기 → 24-task full eval 실행 (SR 0%가 최종 결과인지 아니면 학습 후반부에 회복인지 확인)
  • P2 full (#6270 PENDING) 자원 확보 후 시작 여부 주시
  • Latent-IDM C (Layer-Routed ActionDiT) 설계 검토 — latent-B 60K 완료 후 후속 cycle
  • EEF 분산 크기 (std 78 mm) → 24 ep 전체 재평가로 안정화 검토

VGGRPO

High
#6811 RUNNING 10h 27m #7667 RUNNING 8h 1m #7689 RUNNING 7h 12m

어제 한 일

  • Sealed RoboCasa 데이터로 3-way 재학습 시작 — Any4D (#7689) · DA3 v1 baseline (#7667) · DA3 v2 sigmoid (#6811), 모두 4 GPU DDP.
  • PREEMPT 연속 — 6768/6787/6798/6812/6825/6831/7678 등 다수 preempt (10–44 min 단위). sbmr 재기동 후 현재 안정 RUNNING.
  • QOS 분산 — DA3 v2: free partition (core-on-free), DA3 v1: sub partition (core-on-sub), Any4D: extra QOS.
  • 이전 실험 (softplus 폐기): step 5700에서 v1 r=0.93 > v2 softplus r=0.84 확인. v2 sigmoid로 재설계 후 재시작.
  • 6823 COMPLETED (13m): 짧은 검증 잡 완료.

오늘 할 일

  • Step 1000–3000 loss curve 확인 — NaN/spike/발산 없는지: awk -F, 'NR%200==0' experiments/lgm_robocasa_*/train_log.csv
  • 첫 viz 비교 (step 1000–1500) — Any4D / DA3 v1 / DA3 v2 sigmoid 각 PNG 정성 비교. v2 sigmoid가 v1 r=0.93 수준 또는 초과 달성 여부.
  • FOV convention 검증 — pose_loss_9dof의 fov_x = 2·fx/W round-trip 미검증. L_C FOV 항 수렴 패턴 관찰.
  • λ_c=0.1 (D_c confidence 가중치) 안정성 — 학습 후반 conf inflation 발생 시 0.01로 낮추기.
  • ablation 비교 목표: step 5000+ (3 트랙 동일 step 에서 r 값 + scale 안정성 비교)

EgoX_wan2.2

Low

현황

  • context.md 참조 잡 37398 (PHASE=2, 81f, 8GPU, 2d+ running), 38197 (PENDING) 모두 현재 SLURM에 미조회 — 완료 또는 preempt 후 미재기동 상태로 추정.
  • Phase 2 학습 진행 여부 불분명. 81f training collapse 버그 (scene_name 파싱) 수정 완료 후 마지막 학습 상태 확인 필요.
  • git 커밋·claude 문서 변경 없음 (3일).

오늘 할 일

  • 잡 37398/38197 상태 재확인 — sacct 또는 checkpoint 최신 mtime 확인. 중단됐으면 재제출.
  • Phase 2 validation (expert swap 정상 동작) 검증 대기.
  • 81f 학습 안정화 확인 후 → EgoX_wan2.2_long 착수 예정.

Graph_VLM

Low

현황

  • Tier 1 완료 (4/20): query plan retrieval infra 전면 개선 — fallback 금지, multi-seed plans, keyword-subgraph, context 8배 축소 (37K→9K avg).
  • 3 벤치마크 최신 결과: hardfilt10 Graph 2/10 (20%), hardest10 2/10, L34hard10 4/10 (40%).
  • active SLURM 잡 없음. git 커밋·claude 문서 변경 없음.

다음 (Tier 2)

  • Visual position attribute — left/right/front/back. hardfilt Q5/Q8, L34hard Q0/Q1 해결 목표.
  • Occurrence count — action 발생 횟수 집계. 카운트 질문 (hardfilt Q1/Q4/Q7) 대응.
  • Container edges — stored_in, inside, on_surface spatial 구분.
  • 수정 후 3 벤치마크 재평가 예정.

EgoX_wan2.2_long

No Activity

구현 미착수. EgoX_wan2.2 Phase 2 학습 안정화 후 착수 예정. plan.md / plan_long_inference.md에 상세 구현 계획 작성 완료 상태.

EgoX2

No Activity

context.md 없음. git 커밋·SLURM 잡 없음. 3D consistency 개선 실험 트랙으로 별도 방향 설정 예정.

SLURM 현황

Job ID 프로젝트 실행 스크립트 GPU 상태 경과 시간 노드/QOS
6254 GR00T-Dreams launch_pi05_b0_real_full.sh 4 RUNNING 1d 08:44 core-own
6273 GR00T-Dreams launch_pi05_b2_mix_full.sh 4 RUNNING 1d 08:07 core-own
6811 VGGRPO train_lgm_robocasa_da3_v0.sh (DA3 v2 sigmoid) 4 RUNNING 10:27 core-on-free
7667 VGGRPO train_lgm_robocasa_da3_v0_lossv1.sh (DA3 v1) 4 RUNNING 08:02 core-on-sub
7689 VGGRPO train_lgm_robocasa_v0.sh (Any4D) 4 RUNNING 07:12 core-extra
6270 GR00T-Dreams launch_pi05_p2_full.sh 4 PENDING — core-own
6769 VGGRPO (검증 잡) 4 COMPLETED 00:01:59 —
6823 VGGRPO (단독 검증) 4 COMPLETED 00:13:42 —
6768 / 6787 / 6798 ... VGGRPO (연속 PREEMPT → 재기동) 4 PREEMPTED ×6 10–44 min sbmr retry
6248 / 6454 / 6460 ... GR00T-Dreams (sbmr 재시도 체인) 8 PREEMPTED ×5 ~10 min ×5 extra → 재기동