명세 추종 선행연구

TL;DR

언어 VLA가 지시를 무시하고 장면 지름길을 쓴다는 진단은 확립돼 있다. 2025년 10월 이후 독립된 5개 이상 그룹이 같은 결과를 냈다.
human-video ICL에서는 이 문제가 "훈련 문제"로만 언급된다. Zero-WAM 자신도 지름길을 인정하고 IFP를 해결책으로 냈다. 하지만 demo를 바꿔 보는 반사실적 평가는 어느 논문에도 없다.
해결책은 언어 쪽만 활발하다(CAST 등 반사실적 라벨, 대조 추론). 반사실적 human demo 생성 학습은 공백이다.
우리 결과(Zero-WAM 계열 언어 0/103, 명확한 demo 0/78)는 WAM에서의 첫 직접 근거이자 IFP가 지름길을 해결하지 못함을 보인다.

1 Q1: 언어 지시 무시 — 확립됨

논문	arXiv	근거
LIBERO-Plus	`2510.13626`	"models tend to ignore language instructions completely"
LIBERO-PRO	`2510.03827`	지시를 망가뜨려도 "outputs remain unchanged", 일반화 설정 0%
LangGap	`2603.00592`	"LIBERO assign only one task per layout"
When Vision Overrides Language	`2602.17659`	시각 지름길이 언어를 덮음, CAG +9.7%
Restoring Linguistic Grounding	`2603.06001`	모순된 지시에도 "visually plausible actions" 실행
When Instructions Retrieve Trajectories	`2609.39971`	π0.5 swap 36% (ID 약 96%), 실패의 52%가 원래 태스크 재생
LangForce	`2601.15197`	p(ℓ\|v)가 sharp하면 π(a\|v,ℓ)≈p(a\|v)
What Are We Actually Benchmarking	`2606.04233`	언어 인코더 없는 probe가 LIBERO SOTA 근처

공백: 근거가 LIBERO에 집중돼 있다. RoboTwin에서 지시를 바꿔 본 실험과, world-action model/영상 정책이 지시를 무시하는지 직접 보인 연구는 찾지 못했다.

2 Q2: human-video / demo 조건부 ICL — 평가 비판은 없음

훈련 문제로 언급한 연구: ICRT(2408.15980) "stop paying attention to the prompt", Zero-WAM(main.tex:170) "shortcuts that allow it to ignore the in-context video", BPP(2606.30457), ICLR(2603.07530, 한 장면에 여러 태스크가 가능하도록 학습)
평가 쪽은 비어 있다. BC-Z, Vid2Robot, ICRT, BPP, Zero-WAM, Gen2Act 모두 demo를 바꾸거나, 엉뚱한 demo를 주거나, demo만으로 태스크가 정해지는 장면에서 평가하지 않았다. 가장 가까운 수치는 Vid2Robot의 빈 prompt 결과(23% vs 약 55%)다.

3 Q3: 해결책 — 언어는 활발, demo는 공백

언어: CAST(2508.13446, 성공률 2배), ECT(2609.39971), CounterAlign(2608.21740), LangForce(OOD +11.3%), CAG(+9.7~15.5pp), CofactVLA(2608.04396)
demo: Vid2Robot과 Gen2Act는 보조 손실로 성공률을 올렸다(45→61, 49→60). 하지만 demo를 무시하는 비율은 재지 않았다.
생성 영상 파이프라인(DreamGen, Gen2Act, ROSIE)은 커버리지가 목적이고, 명세 추종 지표가 없다.

4 우리 위치와 다음

해석

진단 자체는 우리 기여가 될 수 없다. 고유한 부분은 두 가지다. (a) human-video ICL WAM에 대한 첫 반사실적 평가로, Zero-WAM이 제시한 IFP가 지름길을 해결하지 못함을 사람에게 명확한 생성 demo까지 써서 보였다. (b) WAM 계열에서 언어 지시 무시를 처음으로 직접 보였다.

해결책 쪽 공백(반사실적 human demo 생성 학습)은 우리 생성 파이프라인과 바로 맞물린다. 이것이 CAST의 demo 버전이다.

경쟁 위험: ICLR(2603.07530)은 한 장면에 여러 태스크가 가능하도록 학습 데이터를 구성해 지름길을 막는 in-context imitation이다. 원문을 정독해 겹치는 범위를 확인해야 한다.

로봇 정책은 태스크 명세(언어·demo)를 실제로 쓰는가 — 선행연구

TL;DR

1 Q1: 언어 지시 무시 — 확립됨

2 Q2: human-video / demo 조건부 ICL — 평가 비판은 없음

3 Q3: 해결책 — 언어는 활발, demo는 공백

4 우리 위치와 다음

해석