EgoSteer vs HumanEgoWAM

TL;DR

EgoSteer는 VLA(Qwen3-VL-2B + 300M flow-matching action expert)에 학습 전용 DINOv3 feature 예측을 붙인 모델이다. pixel WAM은 비용과 균형 문제가 있다고 직접 비판한다.
사전학습 9.6K h 중 89%가 EgoSmith 추정 손이다. EgoDex는 3.9%뿐이다.
clean vs dirty 비교는 필터 유무뿐이다(44% vs 33%). 센서 GT vs 추정 라벨 비교와 시연 영상 조건 WAM은 우리만 다룬다.
action은 좌표계(현재 카메라 c_t)와 슬롯(손목 9 + 손끝 15, 양손)이 같다. 다만 EgoSteer는 현재 state 대비 delta이고 우리는 절대 pose라 parametrization이 다르다.

9,606 h

PT 코퍼스

89%

추정 손 비율

75%

45 태스크 성공률

31 / 44%

WM 제거 / 기본

33 / 44%

noisy / 필터

164 h

PT, A800 128장

1배경/목적

EgoSteer는 우리와 같은 양손 48-D action(손목 xyz + rot6d, 손끝 5개)을 쓰고 사람 egocentric 데이터로 dexterous 손 정책을 사전학습한다. 지금까지는 데이터 카드와 Fig. 8 표만 봤다. 이번에는 본문과 Appendix A–D를 읽고, 겹치는 부분과 우리가 새로 기여할 부분을 정리했다.

2논문 내용

EgoSmith (4단계)

Pre-filter: LK flow camera gate(이동 ≤ 긴 변의 10%)와 YOLO hand gate(conf ≥ 0.3, 박스 면적 2–50%, 하단 중앙, 2개 이상).
4D 추정: HaWoR ViT(카메라 기준 MANO) + DPVO 궤적 + Any4D metric depth로 스케일을 맞춘다.
언어: Qwen3.5-VL-Plus가 5단계 지시문(L1 5단어 ~ L5 100단어)을 쓴다.
Post-filter: 카메라 이동 IQR 2.5배, chunk 단위 IQR + 축당 1.5 m, 프레임당 손목 0.30 m / 41°, 카메라 0.20 m / 28°.

	RPE	ATE	WA-MPJPE	W-MPJPE	시간/ep
HaWoR	5.63	9.12	34.9	106.7	95.0 s
EgoSmith	2.60	7.57	26.7	88.2	11.5 s

단위 mm. GT가 있는 TACO/OakInk2/H2O/EgoVerse 512 ep 기준. 추정 손의 world 오차가 아직 27–88 mm다.

모델

Qwen3-VL-2B(causal) + DiT action expert(14층, 약 300M) + WM expert(4층, 약 70M). 두 expert는 backbone KV에만 attention하고 서로는 보지 않는다.
입력: 영상 6프레임(1 FPS, 5초), proprio history는 프레임마다 75% mask.
action: h = 32 @ 30 Hz, 현재 카메라 기준 상대값(손목 SE(3), 손끝 변위). 손목 회전을 뺀 차원은 1–99 퍼센타일로 정규화.
WM: GT action + 카메라 ΔT로 t+h−1 프레임의 DINOv3 ViT-L feature(24×24×1024)를 MSE로 회귀. 추론 때는 버린다.
loss = CFM + WM + 0.05·VLM. VLM co-train 10.4M. training-time RTC는 post-train에서만, d ~ U[0,5].
PT: A800 128장, batch 4,608, 175K step, 164 h. FT: A800 96장, 60K step, 29 h.

결과

실험	수치
45 태스크 언어 지시	평균 75% (compositional 62%, unseen 67%)
DAgger 8.3 h (4 태스크)	22.5% → 62.5%
baseline (10 태스크)	π0.5 22% · Being-H0.5 39% · EgoSteer 74%
PT scaling 0 / 3 / 6 / 9.6K h	30 / 40 / 43 / 60%
ablation (1K-FT = 44%)	WM 제거 31% · RTC 제거 39% · noisy data 33%
few-shot 5개 장기 태스크	20/100 demo, 평균 progress 79%

3우리와의 차이

축	EgoSteer	HumanEgoWAM
모델	VLA + DINOv3 feature 예측(학습 전용)	Wan2.2-5B가 미래 픽셀 영상 + action을 함께 생성
조건	언어(5단계)	사람 손 시연 영상
clean vs dirty	필터 유무만(44 vs 33%)	센서 GT(EgoDex) vs 추정(EgoSmith), 같은 시간 분량
Human vs +Robot	사람 PT → 로봇 FT 순차, 사람 데이터 양만 변화	사전학습 단계에서 Human-only vs Human+Robot
규모	9.6K h, 89% 추정	EgoDex 약 830 h, 센서 GT
action	c_t 기준, state 대비 delta (손목 상대 SE(3), 손끝 변위)	c_t 기준 절대 pose (anchor = row 0 = 현재 프레임)
history	5초 영상 + proprio(75% mask)	proprio 1프레임, mask 없음
로봇	RY-H2 6-DoF, 텔레옵 187 h	Sharpa / XHand retarget
계산량	806M 샘플(175K × 4,608)	3.8M 샘플(30K × 128, 계획), 약 1/200

4Takeaway

새로운 부분: 센서 GT vs 추정 라벨의 품질 효과를 같은 시간 분량에서 정량화하는 것. 논문도 B.2에서 추정 라벨의 systematic bias를 인정하지만 실험하지 않았다.

새로운 부분: 시연 영상 조건. 언어로 표현하기 어려운 grasp 형태나 접촉 위치를 전달할 수 있다.

방어해야 할 부분: 논문은 pixel WAM이 무겁고 균형 맞추기가 어렵다고 비판한다. 픽셀 미래 예측이 DINOv3 feature 예측보다 action에 낫다는 근거를 보여야 한다.

규모 열세: 샘플 수 기준 약 1/200이다. 같은 compute에서 비교하거나 품질 축으로 논점을 좁혀야 한다.

5Next

EgoDex 라벨 필터: EgoSmith 기준(프레임당 손목 0.30 m / 41°, 축당 1.5 m, 손이 화면의 50% 이상이면 제외)을 도입하고, 2D 박스 대신 카메라 거리 z를 쓴다.
proprio 75% mask: 본 학습 전에 넣을지 결정한다.
ablation 후보: 같은 c_t 프레임에서 delta vs 절대 pose.
baseline: EgoSteer-3B-Base(공개, 같은 48-D), π0.5 + 48-D.
미해결: EgoDex 370 h(논문) vs 343 h(EgoSteer shard 계산).

EgoSteer 논문 정독 — 우리 연구와의 차이