Video diffusion(Cosmos-Predict2) 생성 wrist-view를 GRPO로 fine-tune해 3D-consistent하게 만드는 프로젝트. LGM(Latent Geometry Model)이 4D reward 산출 — 현재 backbone(VGGT-Ω) 선정 및 검증 단계.
1신규 문서
1SLURM 잡
0커밋
0.120VGGT-Ω AbsRel
어제 한 일
-
claude/260803/analysis-droid_gt_depth_eval.md
DROID 실로봇 GT depth로 backbone 4-way 재검증
신규 · 08-03 18:01
PointWorld-DROID-restored(ZED metric mm) GT depth 신규 확보, 24 episode × 8 frame × 3 camera로 job 67536(1 GPU, 5분31초, COMPLETED) 실행. AbsRel — VGGT-Ω 0.120 < VGGT 0.169 < Any4D 0.243 < DA3 0.277 (δ<1.25: VGGT-Ω 0.894). RoboCasa 시뮬레이션 결과와 순위 완전 일치하며, VGGT-Ω vs VGGT 격차는 실사에서 23%→29%로 오히려 확대. 부수 발견: 4개 모델 전부 시뮬(RoboCasa)보다 실사(DROID)에서 AbsRel이 더 낮음 — 시뮬이 오히려 real-world보다 어려운 OOD 조건임을 시사. VGGT-Ω 채택 결정이 sim 단일 근거에서 실사 독립검증으로 신뢰도 격상.
-
claude/260624/progress-backbone_rgb_eval.md
기존 DROID sim3 결론에 정정 주석 추가
수정 · 08-03 17:43
"결정(260629)" 섹션 하단에 260803 정정 추가 — 기존 DROID sim3 수치는 scale-일관성이지 depth 정확도가 아님을 명시(오독 방지). DA3가 최악이라는 결론만 확실하다고 재확인.
context.md의 "Active Experiments" 서술(job 37233/37399, "완주까지 ~2일")은 sacct 대조 결과 2026-07-09에 이미 COMPLETED(26일 전)로 확인됨 — 문서와 실제 상태 불일치가 260803 리포트 지적 이후에도 해소되지 않고 있음.
오늘 할 일
- context.md "Active Experiments" 섹션의 job 37233/37399 → 실제 완료 결과(dino4/agg2 4-way ablation)로 교체, 잘못된 "진행 중" 서술 정정
- VGGT-Ω 3-cam direct-RGB → 4D reward 결선 진행 (DROID GT 검증 완료로 근거 확보)
- fp32 재전처리 후 일부 demo의 num_samples overreport — 현재 임시 clamp만 적용된 근본 원인 조사
- Register attention block {2,6,9,14,20}과 실제 loss 기여 관계 미분석 — 필요시 착수
DreamData커밋 05-08(88일) · 문서 06-12(53일)
260612 코드 복원 사고(디스크 정리로 GR00T-Dreams 소실 후 gr00t 브랜치 복원) 이후 정지. state schema-fraud(H50 라벨 vs 실제 8-dim) 재학습 및 Pi0.5 ref 트랙(B0/B1/B2) 실행 대기 지속.
EgoX2파일시스템 mtime 06-04(61일)
git repo 아님, claude/ 디렉토리 없음(구조적 이슈, 신규 아님). exp1/exp2/exp3/rgb 중 exp1 캐시가 가장 최근 수정(06-04) — 그 이후 무활동.
EgoX_wan2.2커밋 04-08(118일) · 문서 04-09(117일)
context.md "Active Experiments"(job 37398/38197)가 각각 타 프로젝트(X-WAM) 완료 잡 / 타 사용자 잡으로 재확인 — 118일째 미수정. Phase 2 학습 실재 여부부터 재검증 필요.
EgoX_wan2.2_long커밋 03-10(146일) · 체크포인트 04-09(116일)
phase1 step6000/100k(6%)에서 preempt된 채 재개 대기. lora_step6000 LoRA에서 auto-resume 가능하나 미실행 지속. plan.md 체크리스트 0/18이나 context.md는 구현 완료로 서술 — 불일치.
Graph_VLM커밋 04-01(125일) · 문서 04-20(106일)
Query plan V3 완료(context 8배 축소, fallback 0/10) 이후 정지. todo.md 체크리스트 0/35 — Tier 2(그래프 빌드: visual position/occurrence count/container edges) 착수 전.
대상 6개 프로젝트 범위 내 어제(08-03) 제출된 SLURM 작업은 위 1건뿐. 현재 RUNNING 중인 job 68392(source ... conda activate openpi && bash pi05-mlspaces/scripts/train_full.sh, 8 GPU, n1, 3h38m+)는 scenemem 프로젝트 소속으로 대상 6개 프로젝트 범위 밖이라 제외.