EgoX v2

viz_superset.py에 --ext_source chain 모드 추가 — cam2cam_extrinsics.json chain 계산으로 single-serial 소스에서 missing 카메라 c2w 복원, 3-panel symmetric 비교 가능. TRI UUID 검증: chain(GT) vs superset(Pred) Δt=0.0mm Δθ=0.04° (사실상 동일). 12-lab 다양성 디폴트 UUID 세트로 교체.

viz_superset.py egox_meta 비변형 리팩토링 — apply_superset_overrides(mutate) → build_ext_overrides(read-only) 교체, --ext_source 3종 (egox/superset/extrinsics) CLI 도입, cam2base_extrinsics.json 단일-serial 소스 추가. 3 source × 동일 episode 렌더 검증(262 frames, ~157 MB), mutation 0건 확인

RoboCasa I2V A14B 첫 본격 LoRA 학습 시도 — HCPT 8-GPU (job 1164, 15h32m) + RGB-only 8-GPU (job 1174, 11h22m) 모두 extra QOS preemption으로 중단. 체크포인트 저장 여부 확인 후 resume 필요. own QOS 또는 sbmr 자동 재시도 전략 검토 요망

RGB/PT/FF latent cache를 3-way 디렉토리 분리 + standalone builder 구현 — PT extractor 재실행 시 RGB 재인코딩 제로, RGB||PT 병렬 sbm 빌드 검증 (14s overlap), HCPT smoke 회귀 통과

viz_superset.py에 superset extrinsic override(Euler ZYX 규약 확정) + wrist-view reproject mp4 3-panel 렌더 추가 — 262 frame, 3840×720, 157 MB, CPU 약 2분

Wan 2.2 I2V A14B (36-ch native I2V, dual-expert MoE) 마이그레이션 구현 완료 — RGB-only smoke 4 step peak 134 GB, HCPT smoke 4 step peak 156 GB, 양쪽 NaN 없이 통과

Robocasa backbone을 Wan2.1-T2V-1.3B → Wan2.2-I2V-A14B로 전환 — 14× capacity, native I2V conditioning, dual-expert MoE 7-Phase 마이그레이션 계획 확정

viser viz에서 show pred/gt 체크박스 2개 → 4개(pred exo/wrist + gt exo/wrist)로 분리, headless smoke test 통과 — view별 PT outlier 디버깅 용이

GT/Pred 상하 배치 → 좌우 4-row 레이아웃으로 변경 — 동일 view·modality GT/Pred 직접 옆 비교 가능, smoke test 3/3 OK

RGB latent을 PT 의존성에서 분리해 별도 디렉토리로 저장 + standalone cache builder 추가 — view2 outlier 수정 시 PT만 재빌드, RGB encoding 재실행 제거

Wan2.1-T2V-1.3B + robocasa HDF5 2-view RGB+PT 공동 생성 파이프라인 구현 완료 — 신규 ~1,070 lines, first-frame temporal conditioning, 23 task 전체 지원

robocasa 전체 23 tasks 70,267 demos Wan T2V 학습 시작 — step 20,300 도달, 25+ PREEMPTED 극복, job 5430 현재 RUNNING (May 4 기준)

HCPT PT 스케일 분포 분석 — 중앙값 11m, p99=1556m (reconstruction 실패), pt_max_abs=100m 기준 합리성 확인, 최종 3660 clip 확정

EgoX2_exp1 Dual Expert 구현 계획 — ptmap 32ch + GGA 구조 대응, transformer_2 LoRA 독립 적용, 예상 peak VRAM ~82GB, smoke test 대기

HCPT 전체 파이프라인 smoke test 통과 — loss 3.82→2.75 (10 step), peak VRAM 81GB, 버그 4개 수정, 3660-clip 본 학습 준비 완료

EgoX2_exp2 Dual Expert Steps 1–3 구현 완료 — Args.boundary_ratio, Wan_Components.transformer_2, sft_trainer compute_loss expert switching, 코드 변경 ~35줄, syntax 검사 통과

DROID Multiview — ego 첫 frame conditioning 실험 세팅 완료. DroidMultiviewDataset 신설, _build_ego_cond hook으로 최소 침습 구현, smoke test 대기 중. baseline droid_rgb vs first-frame-cond ablation 축 개설.

EgoX2_exp2 Dual Expert Steps 4–6 구현 완료 — trainer.py LoRA/DDP/save-hook, infer.py, config yaml 업데이트, ~90줄 변경, py_compile 통과

EgoX2_exp1 전용 Dual Expert (transformer + transformer_2) 구현 계획 — 7개 파일 수정, DDP find_unused_parameters=True, LoRA 별도 safetensors 저장, ptmap 32ch 지원

HCPT manifest의 PT 필터 기준(100m) 적절성 확인 — 3761개 클립 분포 분석, 중앙값 11m, 100m 컷 101개(2.7%) 탈락, 최종 3660 clip

260406-260412 · 8/9 phases done · smoke test pending

260406-260412 · 7 commits · −2201 lines · learning-ready baseline restored

EgoX는 exocentric (3인칭) 비디오를 입력으로 받아 egocentric (1인칭) 비디오를 생성하는 프레임워크: