FoundationStereo 대체 후보: LAS2 학습 스테레오 모델 도입 및 검증

1 배경 / 목적

Geometry 비교 카드(기존)에서 SGBM은 disparity range 부족(192 < 근접 wrist 쌍에 필요한 ~307px)으로 부적합 판정을 받았고, 1순위 후보였던 FoundationStereo는 공식 checkpoint 다운로드가 Google Drive quota로 막혀 있었다. 오늘 재시도했으나 재차 실패해, disparity 부족 문제를 겪지 않는 대안 학습 스테레오 모델을 탐색했다.

기존 한계: SGBM 진단은 wrist 근접 거리(0.06–0.15m)에서 median 오차가 튀는 근본 원인(disparity range)이 규명됐지만, 실제 대체재가 없어 geometry quality_gate가 계속 UNVERIFIABLE로 남아 있었다.

2 작업 내용

FoundationStereo(NVlabs/FoundationStereo@6e88068) 공식 Drive 폴더에서 gdown 5.2.0의 download_folder(..., skip_download=True)로 두 파일(cfg.yaml, model_best_bp2.pth)의 실제 ID를 쿠키 없이 resolve한 뒤, 각각 gdown --no-cookies --id <id> 1회씩 timeout 180으로 시도했다. 두 요청 모두 4초 이내 exit 1로 실패했고("Too many users have viewed or downloaded this file recently"), 재시도나 미러 사용 없이 stop 조건을 지켰다.

대안으로 TomTomTommi/LiteAnyStereo(commit 8c97bd4, MIT)와 HuggingFace tomtomtommi/LiteAnyStereoV2의 LAS2_M.pth(41,925,933 bytes, 로컬 SHA256이 published LFS OID와 일치)를 격리 환경(.venv-las, uv venv, torch 2.14.0+cu130)에 도입했다. CPU-only import/construction/load를 검증(504-key raw state dict, weights_only=True strict load 성공)한 뒤, 세 단계 진단을 실행했다: (1) one-pair probe(job 126119, 카메라 22246076 frame 0, native 1280×720), (2) all-scene diagnostic(job 126123, 3카메라 × 7프레임 = 21 views, wrist 0.1–3m/exterior 0.2–3m SDK range), (3) cross-view audit(job 126127, LAS-only hole을 나머지 2개 카메라 관측과 대조해 agreement/front-contradiction/behind/unverified로 분류).

LAS2-M은 48-channel stride-4 고정 correlation aggregation을 쓰기 때문에 max_disp 인자가 constructor에 전달되지 않고, 실질적 지원 상한은 가장 큰 nominal bin인 188px로 고정된다. 이 카메라(fx=522.87, baseline 기준)에서 188px는 깊이 0.3336m에 해당해, 그보다 가까운 거리는 근접 지원 한계로 명시했다.

3 결과 (수치 필수)

단계	측정치	상태
FoundationStereo 재시도 (2 files)	exit 1, <4초, Drive quota 에러, 파일/해시 없음	실패, 재시도 없음
One-pair probe (job 126119)	coverage: SDK raw 71.58%, model 91.99%, LR-consistent 66.50%; SDK-vs-model depth delta p50 5.4mm/p95 113.6mm (517,737 common px)	FORWARD_SUCCEEDED_DIAGNOSTIC_ONLY
All-scene diagnostic (job 126123)	3카메라 × 7프레임 = 21 view 전체, 63 export 파일 preflight 전부 통과	COMPLETE_ALL_21_VIEWS_DIAGNOSTIC_ONLY
Cross-view audit — wrist 16291792 (job 126127)	candidate 31,495 hole 중 accepted(agree≥1&front=0) 13,463건 (42.8%)	가장 높은 교차검증률
Cross-view audit — ext 22246076	candidate 53,632 중 accepted 3,441건 (6.4%), front-contradiction(관측 관측치가 candidate보다 앞) 5,167건	대부분 미검증
Cross-view audit — ext 26638268	candidate 63,570 중 accepted 6,361건 (10.0%), front-contradiction 7,035건	대부분 미검증

근접 거리 한계: 48-bin stride-4 aggregation의 최대 nominal disparity(188px)가 이 캘리브레이션에서 0.3336m에 대응 — 이보다 가까운 거리(예: wrist 근접 조작 구간)는 LAS2-M 자체 아키텍처 한계로 지원되지 않는다.

핵심 발견: Exterior 카메라의 LAS-only hole은 대부분(90%+) 다른 2개 카메라로 교차 검증되지 않는다 — SDK가 못 본 곳을 LAS2가 채워도, 그 채움 값이 신뢰할 만한지 확인할 근거가 부족하다는 뜻이다. Wrist 카메라만 42.8%로 상대적으로 나은 교차검증률을 보인다.

4 Takeaway

의미

FoundationStereo가 반복적으로 막혀 있는 상황에서 LAS2-M을 대안으로 확보하고 21-view 전체 진단까지 마쳤다는 점 자체가 진전이다. 다만 이 모델은 (1) 48-bin 고정 aggregation으로 근접 거리를 구조적으로 못 보고, (2) exterior 카메라의 hole-fill 결과 대부분이 다른 시점과 교차검증되지 않는다는 두 가지 약점이 정량적으로 드러났다. Temporal consensus 카드(별도)의 결과(같은 exterior 카메라 조합에서 net gain 음수)와 함께 보면, "단일 후보만으로 hole을 신뢰성 있게 못 채운다"는 공통된 결론에 도달한다 — 두 방법을 조합하거나 FoundationStereo 확보를 계속 시도해야 할 근거가 된다.

5 Next Steps

미해결 한계

FoundationStereo의 24시간 quota 윈도우가 언제 풀리는지 알 수 없어 재시도 시점을 예측할 수 없다. LAS2-M은 어떤 union/fusion도 아직 수행하지 않았고(모두 candidate 단계), 실제 geometry 파이프라인에 채택할지 여부는 미결정이다.

다음 실험

FoundationStereo quota가 풀리는 대로 동일 21-view 세트에 대해 같은 비교표를 만들어 LAS2-M과 나란히 비교한다. LAS2의 wrist 42.8% 교차검증 성공 사례만 우선 geometry candidate로 시험 채택하고, exterior 카메라는 temporal consensus의 개선된 정책(카드4)과 결합해 재평가한다.