Daily Progress

🎯 오늘의 우선순위

01 VGGRPO find_stitch_layer_vggt.sh (job 29986, 59분 COMPLETED) 결과 확인 → VGGT stitch layer 결정 후 reward path 통합 시작. Phase 4 RL 준비.
02 VGGRPO VGGT-Ω reward path 설계 착수 — 3-cam direct-RGB → geometry → 4D reward (SSIM + depth err + flow consistency). Sub-plan #1 Task 1(FF submodule) 시작 가능.
03 DreamData Pi0.5 ref 트랙 (b0/b1/b2_ref) launch 대기 중. state schema fix + 학습 스크립트 확인 후 sbmr 제출.
04 EgoX_wan2.2 jobs 37398/38197 상태 재확인. 학습 완료 시 loss curve + validation 이미지 정성 평가. 미완료 시 학습 재개 여부 결정.
05 EgoX_wan2.2_long step6000 LoRA에서 학습 재개 (preempt 대비 sbmr). infer_long.sh lora_path stale 경로 수정 후 추론 품질 재측정.

VGGRPO

High SLURM 3 jobs

Video diffusion model 3D consistency → 4D geometry reward (GRPO) · EgoW/VGGRPO

✅ 결정 확정 (260629)

VGGT-Ω를 off-the-shelf reward backbone으로 채택 — fine-tune 없이 바로 Phase 4 RL reward path에 투입. RoboCasa 정량 1위 (AbsRel 0.296, δ³ 0.92), DROID 정성 우수, sim3 anchor scale ≈1.0 (안정). keh0t0 계정 HF gated 승인 + 공유 NAS 캐시 완료 (worker는 HF_TOKEN 불필요).

📊 4-way Full Eval (RoboCasa, 48 clips × 32 frames × 3 cam)

Model	AbsRel ↓	RMSE ↓	δ<1.25 ↑	δ<1.25² ↑	δ<1.25³ ↑	비고
VGGT-Ω	0.2964	0.1680	0.7474	0.8729	0.9198	채택
VGGT	0.3855	0.1884	0.7109	0.8295	0.8845	2순위 백업
Any4D	0.6992	0.3506	0.6174	0.7710	0.8351
DA3	0.7760	0.3239	0.5957	0.7554	0.8299

Job 26434 (extra QOS, 1 GPU, 21분) 완료. VGGT-Ω >> VGGT >> Any4D ≈ DA3. 순위 smoke-to-full 견고.

어제 작업 (260629)

progress-backbone_rgb_eval.md [260629 업데이트 5개]

① DROID 다중 에피소드 뷰어 — 8 ep (AUTOLab/CLVR/IPRL/IRIS/PennPAL/RAIL/TRI/WEIRD ranks 160~3093) × 4모델 × 3t. RGB 2D 패널 추가 (add_image). tmp/droid_scenes_montage.png 생성.

② DROID 3-cam (LeRobot v2.0 source) — droid_lerobot chunk-000 (ep 0~9). exterior×2 + wrist. viser_droid_compute.py --source lerobot. 8 ep × 4모델 × 3 cam × 3t → tmp/viser_droid3_multi.npz. viser 8789.

③ 오버랩 슬라이딩 윈도우 — K timestep을 한 forward (기본 K=2, S=1). window 드롭다운 + color=frame(cyan/magenta) 토글.

④ sim3 체이닝 글로벌 정합 — Umeyama sim3(s,R,t), 공유 frame anchor로 G_k 체이닝. 누적 scale: VGGT ≈1.0, DA3 0.36~1.12(불안정). overlay all frames 토글 + color=time 그라데이션.

⑤ 결정: VGGT-Ω reward backbone 채택 — 정량·정성·실용성 3가지 근거 종합.
context.md [260629 18:35 갱신]

Off-the-shelf RGB backbone 비교 트랙 결과 반영. 결정(260629): VGGT-Ω 채택 (1순위, VGGT 2순위). Phase 4 reward path = VGGT-Ω 3-cam direct-RGB → geometry → 4D reward로 확정.

SLURM (260629)

Job ID	프로젝트	실행 명령	상태	GPU	실행 시간	QOS
29924	VGGRPO	bash scripts/find_stitch_layer_vggt.sh	COMPLETED	1	00:00:13	extra
29984	VGGRPO	bash scripts/find_stitch_layer_vggt.sh	CANCELLED	1	00:03:11	extra
29986	VGGRPO	bash scripts/find_stitch_layer_vggt.sh	COMPLETED	1	00:59:32	own

29924 13초 완료(quick setup/test) → 29984 3분 후 다른 사용자 own job에 preempt 취소 → 29986 --qos=own으로 재제출, 59분 완료. VGGT stitch layer 탐색 (reward path 통합 위한 아키텍처 분석).

오늘 할 일

job 29986 출력 확인 → VGGT stitch layer 결정 (cf. DA3 vitl layer=6, VGGT는 별도 탐색 필요)
Phase 4 RL Sub-plan #1 Task 1 착수: FF submodule (flow-finetuning) 통합
VGGT-Ω reward path 설계: 3-cam RGB → VGGT-Ω depth+pose → SSIM + depth_err + flow_consistency
(선택) RoboCasa GT에서 VGGT-Ω depth → reward 환산 sanity check

🎯 오늘의 우선순위

TL;DR

프로젝트별 현황

📊 4-way Full Eval (RoboCasa, 48 clips × 32 frames × 3 cam)

어제 작업 (260629)

SLURM (260629)

오늘 할 일

비활성 프로젝트

SLURM 전체 요약 (2026-06-29)

Job ID	프로젝트	실행 명령	상태	GPU	실행 시간	노드
29924	VGGRPO	find_stitch_layer_vggt.sh	COMPLETED	1	00:00:13	1
29935	FastWAM (외부 프로젝트)	run_multitask_eval.sh step_766860.pt 8 task: CloseDrawer OpenDrawer …	COMPLETED	4	00:41:24	1
29984	VGGRPO	find_stitch_layer_vggt.sh	CANCELLED by 10010	1	00:03:11	1
29986	VGGRPO	find_stitch_layer_vggt.sh	COMPLETED	1	00:59:32	1