Daily Progress — 2026-06-29

⚡ 오늘의 우선순위

1 VGGRPO VGGT-Ω를 reward backbone으로 확정 → Phase 4 RL fine-tuning sub-plan #1 (FF submodule) 착수

2 EgoX_wan2.2_long phase1 학습 재개 — step 6,000에서 100k까지 sbmr auto-requeue로 제출. infer_long.sh lora_path 교정 먼저.

3 DreamData Pi0.5 ref 트랙 (B0/B1/B2_ref) smoke → sbm 본 학습 제출. B1 step 16k+/20k 완료 여부 확인.

4 EgoX_wan2.2 Phase 2 학습 진행 상황(jobs 37398/38197) 확인. 81f loss curve + validation 이미지 정성 점검.

TL;DR

VGGRPO: 4-way off-the-shelf depth eval 완료 (48 clips × 32 frames). VGGT-Ω 전 metric 1위 — AbsRel 0.296, δ<1.25³ 0.920. VGGT 2위(0.386), Any4D/DA3는 0.69~0.78로 뒤쳐짐. reward backbone = VGGT-Ω 확정 수준.
VGGRPO 부가: viser 3D pointcloud 시각화 도구 구축 — RoboCasa (login-0:8788) + DROID (login-0:8789) 정성 비교 가능.
EgoX_wan2.2_long: 학습 데이터 소실 오인 → Jun 24 심링크 복구로 해결. train 99,587 / val 2,033 전부 MISS 0. step 6,000 LoRA로 재개 대기 중.
주말 3일간 신규 커밋 0건, 대상 프로젝트 SLURM 제출 0건. DreamData · Graph_VLM · EgoX2는 변동 없음.

프로젝트별 현황

VGGRPO Medium

4D geometry reward로 video diffusion fine-tuning — reward backbone 선정 단계

이번 주말 작업 (Jun 26–29)

260624/progress-backbone_rgb_eval.md (수정: Jun 26)

4-way off-the-shelf depth eval 완료 (job 26434, 21분, 48 clips × 32 frames × 3 cam):

Model	AbsRel↓	RMSE↓	δ<1.25↑	δ<1.25²↑	δ<1.25³↑
Any4D	0.699	0.351	0.617	0.771	0.835
DA3	0.776	0.324	0.596	0.755	0.830
VGGT	0.386	0.188	0.711	0.830	0.885
VGGT-Ω ★	0.296	0.168	0.747	0.873	0.920

VGGT-Ω 전 metric 1위. VGGT 계열이 Any4D·DA3보다 현격히 우수.

Any4D 버그 수정: 기존 any4d_tail_forward+dense.value[:,3]는 LGM 전용 wrapper였음 → native pts3d_cam[...,2] 교체 후 AbsRel 1.77 → 0.27 (6.6× 개선).

viser 3D pointcloud 시각화: RoboCasa 3-cam GT+4모델 비교 서버 (login-0:8788) + DROID 2-cam 자체예측 비교 (login-0:8789). source 토글·camera 토글·timestep 드롭다운 구현.

오늘 할 일

VGGT-Ω를 reward backbone으로 채택 결정 → Phase 4 sub-plan #1 (FF submodule) 구현 착수
per-task breakdown 분석 (선택) — tmp/eval_backbones_rgb/eval_metrics.json
DROID viser 정성 관찰: wrist reward 도메인 depth 품질이 RoboCasa 순위와 일관되는지 확인

현재 상태 (context)

Phase 2 (LGM 구축) 진행 중 → DA3 v1 (job 2903) / DA3 v2 paper-aligned (job 3219) 둘 다 학습 중. Phase 4 RL fine-tuning pre-plan 완료 (260510). Base model = Cosmos-Predict2-2B robocasa-MG30 iter 73.2K. Reward path = direct DA3→VGGT-Ω RGB (LGM 제거 결정).

EgoX_wan2.2 Low

Wan 2.2 기반 ego+wrist 뷰 동시 생성 — 2-Phase LoRA 학습 중

이번 주말 작업

신규 커밋·문서·SLURM 제출 없음

현재 상태 (context)

Phase 2 (저노이즈 expert) 학습 진행 중. 81f training collapse 버그(scene_name 파싱) 수정 완료 (260408). Phase 2 validation 파이프라인 추가됨. loss curve·validation 이미지 정성 평가 필요.

오늘 할 일

81f 학습 loss curve 확인 + validation 이미지 정성 평가
Phase 2 expert swap 정상 동작 검증

EgoX_wan2.2_long Low

임의 길이 비디오 생성 확장 — autoregressive chunk 추론, condition latent 학습

최근 작업 (Jun 24)

260624/analysis-long_video_state_data_recovery.md
학습 데이터 "소실" 오인 → 원본 생존 확인·복구. derived export(EgoX_input) 삭제였을 뿐, 원본 EgoX_preprocess/81f/ 중첩 구조 생존. Jun 24 02:23 심링크 재생성으로 복구.
dry-load 재검증: train 99,587 / val 2,033 — MISS 0. 샘플 3개 실제 decord 로드 정상 (81f, exo 796×448).
학습 상태: phase1 6,004 step / 100,000 (6%), phase2 1,391 step / 100,000 (1.4%). Apr 9 preempt 후 중단. lora_step6000.safetensors (4.9GB) 생존.
추론: 81f autoregressive 생성 동작 확인. 마지막 chunk tail drift 존재 (step 6K 이전 품질 기준).

오늘 할 일

infer_long.sh의 stale --lora_path ./results/long_video/checkpoint-50 → lora_step6000로 교정
phase1 학습 재개: sbmr 10 "bash scripts/final_train_81f.sh" --gres=gpu:8 -c 64 --mem 1600GB --qos=extra
step 6,000 LoRA로 새 추론 1건 → 현재 품질 측정

DreamData Low

IDM pseudo-action + Cosmos 비디오 생성 → GR00T N1 / Pi0.5 policy fine-tuning

이번 주말 작업

신규 커밋·문서·SLURM 제출 없음 (마지막 활동: Jun 12 코드 복구)

현재 상태 (context)

Pi0.5 B1 학습 (job 5588) step 16,000+/20,000 (80%+), loss 0.018. Pi0.5 B0 baseline (job 5889) PENDING. 4-task mid-eval @ ckpt 15,500 = 0/32 (0%) — eval pipeline bug 의심. Pi0.5 ref 트랙 (B0/B1/B2_ref) launch scripts 준비 완료 (260508), smoke 대기 중. IDM 최고 성능: MG-30 v2_8gpu 134.8 mm (EEF error, 24 tasks avg).

🚨 미해결 이슈

State schema fraud (260508): Keh0t0/robocasa_heldout_real state features 실제값이 spec과 불일치. B0/B1/B2 재학습 필요. ref 트랙으로 대응 중.

오늘 할 일

B1 job 5588 완료 여부 확인 → sacct 조회
Pi0.5 ref 트랙 smoke test (200 steps) → sbm 본 학습 제출
B0 baseline job 5889 상태 확인

Graph_VLM Low

시공간 그래프 기반 long-term memory VQA — EPIC-KITCHENS P01_01

이번 주말 작업

신규 커밋·문서 없음 (마지막 활동: Apr 20)

현재 상태 (context)

3개 hard 벤치마크 결과 (Apr 20): hardfilt10 Graph 20% / Describe 10%, L34hard10 Graph 40% / Describe 70%. Graph V3 infra (multi-seed + keyword-subgraph fallback, context 8× 축소) 완료. Tier 2 (graph build 개선: visual position, occurrence count, container edges) 대기 중.

EgoX2 Low

3D consistency 개선 실험 — context.md 미생성 상태

No activity — context.md 없음. 실험 폴더(EgoX2_exp1/2, exp3, rgb)만 존재.

SLURM 작업 현황 (Jun 26–29, 대상 프로젝트)

기간 내 대상 6개 프로젝트에서 제출된 SLURM 작업 없음.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간
대상 프로젝트 (DreamData · EgoX2 · EgoX_wan2.2 · EgoX_wan2.2_long · Graph_VLM · VGGRPO) 기간 내 SLURM 제출 없음

참고 — 최근 완료 작업 (VGGRPO, Jun 24)

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간
26434	VGGRPO	eval_backbones_rgb.sh (4-way depth eval)	1	COMPLETED	00:21:10
26433	VGGRPO	eval_backbones_rgb.sh (사전 취소)	1	CANCELLED	00:00:00
26226	VGGRPO	eval_backbones_rgb.sh (smoke)	1	COMPLETED	00:18:02