Harness + ICL-WAM 포지셔닝 검증

TL;DR

조합 자체는 비어 있음: API agent가 사람 영상을 분할·선택해 ICL-WAM의 context로 넘기는 논문은 두 목록과 검색 2회에서 발견되지 않음.
차별점 5개 중 3개는 선행 연구 존재: executor 채널(π0.7, MaP-WAM, PonderPounce, WorldScape 2.0), context 편집 recovery(FaRe), WAM 예측 검증기(FaRe, CheckVLA).
전제가 미검증: Zero-WAM은 영상 유무 차이가 46.95% vs 39.44%로 평균 +7.5pt이고 prompt 교체 ablation이 없음.
hero 실험 위치 변경 권장: 접촉 조립(insertion 16.7%)보다 long-horizon(stack three 9.0%).

~45

확인한 논문

3 / 5

선행 연구 있는 차별점

+7.5pt

Zero-WAM 영상 기여

16.7%

Zero-WAM insertion

9.0%

Zero-WAM stack three

1 배경 / 목적

다른 세션이 "Harness + ICL, low-level은 VLA/WAM" 구조의 차별점을 5개로 정리했다. 근거는 "기존 하이브리드는 executor로 가는 채널이 언어나 2D 포인트뿐"이라는 관찰과 "두 축을 합친 논문이 수집 범위에 없다"는 주장이다. 이 두 가지를 로컬 문헌 모음(124건)과 awesome-robots-icl(2026.06 이후)에 대조했다.

2 작업 내용

소스: Related_works/api_model_robot_policies_2026_09_28.html (124건) github.com/JethroJames/awesome-robots-icl README (2026.06 이후 항목) 본문 확인: HarnessWAM, WorldScape Policy 2.0, π0.7, PonderPounce, FaRe, Zero-WAM, MaP-WAM, GPT-Policy, 2AM, S1, GEN-1.5 초록 확인: RoboICL, AdaHVLA, TraceFlow, WAM-TTT, HOST, τ0-VLA, CheckVLA, HINT, Cortex, ReCAP, StellaVLA, BPP 외 한계: 수치는 요약 모델을 거쳤으므로 인용 전 원문 재확인 필요. S1, GEN-1.5는 회사 블로그.

3 결과

차별점별 판정

#	다른 세션의 주장	판정	근거
전제	executor 채널은 언어 / 2D 포인트뿐	틀림	π0.7 subgoal 이미지, MaP-WAM 생성 visual plan, PonderPounce latent, WorldScape 2.0 video prompt
1	agent가 영상 구간을 executor context로	유효 (좁혀서)	정확한 조합 미발견. 단 S1, ReCAP과의 비교 필수
2	recovery = context 재선택	부분 중복	FaRe: frozen LingBot-VA의 history 편집, 실로봇 71.7 → 83.3%
3	로봇 rollout을 executor context로 환류	부분 중복	GEN-1.5(로봇 rollout prompt), TraceFlow(TraceBank)
4	WAM 예측 vs 관측 검증기, VLA로는 불가	기존에 있음	FaRe(imagined vs 관측 MSE), CheckVLA(recall 77.9% vs 48.6%), Motus2
5	steerability를 지표로	유효, 승격 필요	Zero-WAM에 prompt 교체 ablation 없음

표에서 빠진 경쟁자

논문	무엇을 하나	수치	위협
Skild S1 (2026.08)	egocentric 사람 영상 1개, 언어 없음, 분할 없음, 최대 10분	unseen 66% vs 언어 VLA 9%	"agent가 왜 필요한가"
GEN-1.5 (2026.08)	3-12초 physical prompt, 로봇 rollout도 prompt	one-shot 59% ±10	3번
ReCAP (2606.15631)	사람 손 영상을 매 step retrieval해 frozen policy 조건화	초록에 없음	"agent 대신 retriever"
WorldScape 2.0 (2026.07)	VLM + WAM + video-context prompt	cross-embodiment 60-70%	전제
MaP-WAM (2026.09)	VLM plan + 생성 visual plan → WAM	RMBench 83.3% vs 77.1%	전제
π0.7 (2026.04)	world model이 만든 subgoal 이미지를 prompt로	초록에 없음	전제
FaRe (2609.18016)	WAM history 편집 recovery	RoboTwin Hard 90.2 → 92.4	2, 4번
CheckVLA (2607.26789)	frozen action-conditioned WM으로 실행 검증	36.1% vs 27.6%	4번

Zero-WAM 수치 (executor 후보)

설정	성공률	비고
unseen 7태스크, 영상 + 언어	46.95%	LingBot-VA 17.45%
unseen 7태스크, text-only 변형	39.44%	영상 기여 +7.5pt
stack blocks three	9.0%	가장 어려운 long-horizon
실로봇 3-object sequential	33.3% (10/30)	LingBot-VA 10.0%
실로봇 two-table-leg insertion	16.7% (5/30)	LingBot-VA 0.0%

가장 큰 리스크: 제안된 hero 실험(사람 영상으로만 주어진 press-fit 조립)은 executor가 가장 약한 영역이다. GPT-Policy도 접촉 태스크는 action reference가 있어야 한다고 보고했다(n=3). harness는 motor-level 실패를 고칠 수 없다.

학습 분포: Zero-WAM은 전체 태스크 영상과 전체 로봇 궤적 쌍으로 학습했다. agent가 자른 구간 clip은 OOD라서 frozen executor로는 안 될 수 있다.

4 Takeaway

의미

방향은 유효하지만 주장을 "영상 채널"에서 "데모 영상 context의 agent curation(분할, 선택, 재선택)"으로 좁혀야 한다. 비교 대상은 harness 논문이 아니라 monolithic ICL-WAM(전체 영상), retrieval 선택(ReCAP), 생성 subgoal(π0.7, MaP-WAM)이다.

agent가 실제로 고칠 수 있는 실패는 long-horizon과 context 과부하다. contribution은 1번을 메인으로, 5번을 전제 검증용 진단 실험으로 승격, 2번은 실험 0 통과 시 메인, 4번은 구성요소, 3번은 확장으로 둔다.

5 Next Steps

실험 0 (go/no-go, 학습 없음)

공개 ICL-WAM checkpoint로 (a) prompt-swap: 같은 장면에 다른 영상을 줬을 때 행동이 영상을 따라가는 비율, (b) long-horizon에서 전체 영상 vs oracle 분할 clip. oracle 분할이 큰 이득(예: stack three 9% → 30% 이상)을 내지 못하면 agent를 붙일 이유가 없다.

미확인 사항

Zero-WAM 공개 repo의 checkpoint 유무. 없으면 사전학습 15,360 GPU-hour는 own 8 GPU로 약 80일. 구간 clip이 OOD이면 segment-level 쌍으로 post-training이 필요하다.