Index
2026-09-14 — Analysis

Geometry reconstruction — ZED vs SGBM vs PointWorld depth 비교

R2S | G002: Reconstruct and calibrate scene geometry

TL;DR

7
비교 인덱스
12mm
RANSAC 임계값
25.74m
wrist p95 최악치
UNVERIFIABLE
geometry gate

1 배경 / 목적

데이터 감사 카드에서 확정된 observed core(0–102)를 바탕으로, G002 단계는 metric한 table/block geometry를 확보해야 한다. 문제는 depth source 후보가 3개(ZED SDK live depth, CPU-only SGBM, PointWorld 저해상도 depth)이고 서로 다른 해상도·좌표계·신뢰도를 갖고 있어 어느 것을 기준으로 삼을지 검증되지 않은 상태였다.

기존 한계: PointWorld는 320×180 depth로 초기 scene 생성에는 쓸 수 있지만 최종 접촉 geometry에는 해상도가 부족하고, ZED는 현재 제조사 calibration이라 2023년 캡처 당시 정확도가 증명되지 않았다. FoundationStereo 공식 checkpoint는 아직 다운로드하지 못해(별도 카드 참조) SGBM을 fallback 진단으로 대신 사용했다.

2 작업 내용

assets/stack/initial_scene.json은 두 exterior PointWorld depth를 mm 단위로 역투영(픽셀-센터 스케일 1280×720 rectified intrinsics 사용) 후 inverse world_to_camera로 변환하고, 12mm RANSAC 평면으로 테이블을 추정한다. Orange/green 블록은 두 exterior 뷰에서 각각 독립적으로 connected-component backproject한 뒤 world-centroid 거리가 최소인 쌍을 채택한다. wrist 기반 대안 hypothesis는 raw 16291792_left의 RzRyRx camera-to-base(로봇 control 카드의 FK 검증과 동일 convention)로 frame-0 depth를 투영하고 4mm RANSAC으로 테이블을 다시 맞췄다.

job 123766(CPU-only SGBM, 15초)은 job 123495(SDK 5.3.1 export)의 21프레임에 대해 ZED/SGBM/PointWorld 세 depth를 교차 비교했다. 비교 마스크는 "ZED·SGBM 모두 finite positive + export confidence ≤50"이며, PointWorld는 320×180에서 4×4 픽셀-센터 소유권으로 명시적 확장(보간 아님)했다.

3 결과 (수치 필수)

카메라overlap px(중앙값)ZED–SGBMZED–PWSGBM–PW해석
wrist 1629179241,3580.0672m0.0990m0.0251mlate-frame overlap 3–7%로 붕괴, close-range 실패 유력
exterior1 22246076315,6040.0139m0.0166m0.0123m중앙값은 쓸만하나 SGBM p95 ~0.50m
exterior2 26638268284,1920.0128m0.0089m0.0112m중앙값 일치하나 SGBM p95 35–62m 이상치
실패 원인: SGBM max disparity 192는 근접 wrist 쌍(거리 0.063–0.15m)에서 필요한 731×0.063/0.15 ≈ 307px 이상의 disparity를 표현하지 못한다. wrist ZED–SGBM p95는 프레임별로 0.019–25.74m까지 널뛰며, exterior-2 p95도 이상치에 지배된다.
결과: held-out geometry target(median ≤5mm, p95 ≤10mm)은 통과하지 못했고, initial_scene.json의 quality_gate.geometry는 UNVERIFIABLE, object mass 없음, integration_ready=false로 유지된다.

4 Takeaway

의미

이번 진단은 "SGBM이 나쁘다"가 아니라 disparity range 설정이 근본 원인x-disparity≥0, ZED depth 0.10–3.0m 명시). exterior 카메라의 median 오차가 9–17mm 수준으로 세 소스가 서로 크게 어긋나지 않는다는 점은 긍정적 신호이지만, p95 이상치가 지배적이라 아직 "신뢰 가능한 geometry"로 승격할 수 없다.

5 Next Steps

미해결 한계

FoundationStereo(공식 fallback이 아닌 1차 후보)는 checkpoint 다운로드가 rate-limit으로 막혀 있어(SVO SDK 카드 참조) 아직 SGBM을 대체하지 못했다. 손목 프레임-0 depth 기반 hypothesis와 exterior 기반 hypothesis 중 어느 쪽을 최종 채택할지도 미결정이다.

다음 실험

wrist SGBM을 512 disparity, exterior를 192/256으로 재실행하고 우측 가시성 조건과 ZED depth range를 사전 선언한 뒤 held-out surface median/p95를 재평가한다. FoundationStereo checkpoint 확보 시 동일한 21프레임에 대해 같은 비교표를 만들어 SGBM과 병렬 비교한다.