DreamData: state schema CRITICAL 이슈 260508 이후 미해결. IDM best eval Latent-A multistream 107.46 mm.
EgoX_wan2.2 Phase 2 81f jobs(37398/38197) 최근 sacct 미노출 → 종료 추정, 결과 확인 필요.
프로젝트 현황
DreamData (GR00T-Dreams)
IDM pseudo action 역추정 + Cosmos-Predict2 비디오 생성 → GR00T N1 정책 학습
No Activity
🚨 State Schema Fraud (260508)IDM Latent-A multistream: 107.46 mm (best)코드 복원 완료 (260612)
마지막 커밋: 9a2a2d4 2026-05-08 — Add state schema fix handoff
어제 활동
커밋 없음 / claude 문서 변경 없음 / SLURM 작업 없음.
현재 상태 요약
⚠ CRITICAL — 재학습 블로커Keh0t0/robocasa_heldout_real state schema fraud 발견 (260508). features.names는 H50 표준이나 실제값은 joint_pos[7]+gripper[1]+zero[8] (hyojinjang 8-dim). Pi0.5 B0/B1/B2 전부 재학습 필요. IDM v2 (action+state) 트랙도 영향권.
IDM 성능 요약 (최신, leakage 없는 기준):
모델
데이터
Batch
EEF Error
비고
Pixel B0
MG-30
64
332 mm
baseline
Pixel v2_8gpu
MG-30
1024
134.8 mm
batch 효과
Latent-A sliced
MG-30 (latent)
1024
131.8 mm
pixel과 동급
Latent-A multistream
MG-30 (latent)
1024
107.46 mm ⭐
best, ckpt-55K 104.99
HF 공식
MG-3000
1024
113 mm
leakage 불명
오늘 할 일
state schema 재추출 spec 확인 (claude/260508/HANDOFF_state_schema_fix.md)
Pi0.5 ref 트랙 launch smoke test → sbm "bash scripts/launch_pi05_b0_ref.sh"
eval pipeline GT replay 기반 PoC eval 스크립트로 B0_ref SR 측정 시작
EgoX2
3D consistency 개선 실험 (원본 EgoX 베이스)
미착수
context.md 없음, 커밋 이력 없음. EgoX_wan2.2 81f 안정화 이후 작업 예정.
EgoX_wan2.2
Wan 2.2 기반 ego+wrist 뷰 동시 생성. 2-Phase LoRA (고노이즈/저노이즈 expert)
No Activity
Phase 2 학습 진행 중 (상태 확인 필요)81f training collapse 버그 수정 완료 (260408)
마지막 커밋: 0597846 2026-04-08 — Fix 81f training collapse + Phase 2 validation
어제 활동
커밋 없음 / claude 문서 변경 없음 / SLURM 작업 없음.
현재 상태
상태 불명 — 확인 필요
context.md 기준 Job 37398 (PHASE=2, 8 GPU, 2d+ running) + Job 38197 (PENDING) 활성으로 기록되어 있으나, 최근 sacct에 미노출 → 이미 종료되었을 가능성 높음. 81f validation loss curve / Phase 2 expert swap 동작 여부 확인 필요.
오늘 할 일
sacct -j 37398,38197 로 종료 여부 확인
Phase 2 학습 완료 시: validation 이미지 정성 평가 + loss curve 리뷰
Phase 2 expert swap 정상 동작 여부 검증
필요 시 재제출: sbm "bash scripts/final_train_81.sh" --gres=gpu:8 -c 64 --mem 1600GB
EgoX_wan2.2_long
임의 길이 비디오 생성 (condition latent frame, autoregressive chunk)
구현 미착수
마지막 커밋: 9fdf39c 2026-03-10 — Update long video
EgoX_wan2.2 81f 학습 안정화 확인 후 착수 예정. plan.md + plan_long_inference.md 구현 계획 작성 완료. Active experiments 없음.
Graph_VLM
시공간 그래프 기반 long-term memory VQA (EPIC-KITCHENS P01_01)
No Activity
Tier 1 Query plan 3-bug fix 완료 (4/20)Tier 2 Graph build 개선 대기
마지막 커밋: d7fc213 2026-04-01
어제 활동
커밋 없음 / claude 문서 변경 없음 / SLURM 작업 없음. (GPU 불필요한 VLM API 기반)
최신 벤치마크 결과 (4/20 기준)
벤치마크
Graph V3
Describe
Frame-300
hardfilt10
2/10 (20%)
1/10
5/10
hardfilt10 clean 5개
40%
20%
—
hardest10
2/10 (20%)
3/10
4/10
L34hard10
4/10 (40%)
7/10
6/10
Tier 2 — 오늘 할 일
Visual position attribute (left/right/front/back) graph builder 추가 → L34hard Q0/Q1, hardfilt Q5/Q8
Occurrence count 집계 — 카운트 질문 해결
Container edges (stored_in, inside, on_surface) 구분
Tier 2 수정 후 hardfilt10 + hardest10 + L34hard10 재평가
VGGRPO
4D geometry reward로 video diffusion 3D consistency 강화 (GRPO fine-tuning)
No Activity
Phase 4 RL 즉시 착수 가능 (Cosmos ckpt 확보)DA3 v1/v2 baseline 학습 중 (jobs 2903/3219)