Harness + ICL-WAM vs 자체 실험 결과

TL;DR

영상 채널 전제가 약함: 같은 ckpt에서 lang 20.67 → ICL 27.00 (+6.33pp), demo 교체 38.33 → 25.33 (−13pp), 언어를 끄고 틀린 demo를 줘도 25.33%.
언어 재작성이 같은 이득을 냄: stamp_seal 프롬프트 재작성 34 → 47 (+13pp)로 ZW ICL 47과 동률.
접촉 조립은 learned executor의 약점: one_leg LingBot-VA 0.13, pi0.5 0.36, scripted 폐루프 0.983.
유리한 발견: HumanGen은 5초 human clip과 로봇 구간의 쌍이라 agent의 구간 분할이 in-distribution.

+6.33pp

추론 시 demo 기여

−13.0pp

demo 교체 낙폭

25.33%

틀린 demo 잔존

+13pp

프롬프트 재작성

0.13

one_leg LingBot-VA

1 배경 / 목적

다른 세션의 제안은 두 전제에 기댄다. (a) 영상 context가 executor의 행동을 결정한다. (b) 접촉 조립은 learned executor에 맡기면 된다. 어제는 문헌에만 대조했고, 오늘은 이미 돌려 둔 자체 실험 수치에 대조했다.

2 작업 내용

Zero-WAM/claude/context.md Zero-WAM/claude/260929/analysis-zerowam_experiments_synthesis.md, exp-zerowam_wopretrain_50k.md Zero-WAM/claude/260918/exp-zerowam_wopretrain_icl_vs_lang_vs_mismatch.md Zero-WAM/claude/260909/plan-demo_spec_benchmark_design.md, 260915/analysis-humangen_icl_samples.md claude_reports/{GPT-Policy, FurnitureBench, EmbodiedSWE} TL;DR 조건: 재실험 없음. ZW 수치는 w/o pretrain 자체 모델, seed 0, 7태스크 x 100ep, 수정 성공 기준.

3 결과

전제 (a): 영상 context가 행동을 결정하는가

측정	값	해석
lang → ICL (같은 ckpt)	20.67 → 27.00 (+6.33pp)	50K에서도 +5.00
matched → mismatched demo (3태스크)	38.33 → 25.33 (−13.0pp)	Fisher p=0.00084, 영상을 쓰긴 씀
틀린 demo + 언어 off 잔존	25.33%	과제 정보의 주 출처는 장면
태스크별 Δdemo	cup +18, stamp +17, microwave +12.3, stapler −12	신규 타깃 asset에 집중, 해로운 태스크 존재
`stamp_seal` 프롬프트 재작성 (LingBot-VA)	34.00 → 47.00	ZW ICL 47.00과 동률
자체 language-only LingBot-VA macro	40.71%	논문 보고 17.45, 논문 ZW 46.95
`stack_blocks_three`	자체 전 조건 0/100	논문 ZW 9.0

한계: 전부 w/o pretrain 자체 모델과 단일 시드다. 공개 posttrain ckpt는 place_empty_cup 7/10만 확인했다. 교체 대조는 캡션도 함께 바뀐다.

전제 (b): 접촉 조립 (FurnitureSim one_leg)

방식	성공률	비고
scripted 폐루프 v2g	59/60 = 0.983	LLM 없음
EmbodiedSWE solve(env)	11/11	privileged pose, 관대한 판정
pi0.5 (4가구 통합, 40k)	0.36	학습 태스크
LingBot-VA	0.133 ~ 0.157	학습 태스크, 삽입 + 나사 구간 실패
GPT-Policy (온라인 VLM)	2/5, 300s 예산 1/5	$3.72/episode
CaP-X gpt-6-astra	1/30	실물-충실 API

hero 실험 부적합: 학습한 태스크에서도 WAM은 0.13이다. 사람 영상으로만 주어진 새 접촉 동작을 WAM이 버틴다는 그림은 자체 수치와 맞지 않는다.

유리한 발견: HumanGen human 영상은 거의 전부 5초이고 외부 소스 로봇 영상의 83~100%가 구간 clip이다. agent가 긴 영상을 구간으로 잘라 넘기는 쪽이 in-distribution이고, 통째로 넣는 쪽이 OOD다.

4 Takeaway

의미

현재 ICL-WAM에서 영상이 주는 것은 "어떻게"가 아니라 "무엇, 어느 것"의 grounding이고, 그 이득은 프롬프트 재작성으로 대체된다. 따라서 영상 채널, context 재선택 recovery, rollout 환류는 RoboTwin류 평가에서 상한이 약 13pp다.

어제 평가의 정정 세 가지: prompt-swap 실험은 이미 수행돼 있었고, 구간 clip은 OOD가 아니라 in-distribution이며, stack_blocks_three를 hero로 삼자는 제안은 자체 0/100 때문에 근거가 약하다.

사용자만 가진 자산은 "ICL-WAM이 demo를 명세로 쓰지 않는다"는 반증 실험과 K지선다 스위트 설계다.

5 Next Steps

게이트 실험 (재학습 없음)

공개 zero-wam-posttrain-robotwin으로 7태스크 lang / ICL / 교체 3조건. 사전학습 모델에서 교체 낙폭이 커지고 잔존 성공률이 낮아지는지가 제안 전체의 전제다.

평가 설계

스위트 계열 A(chance 1/3)에서 specification accuracy로 agent + 언어 재작성과 agent + 영상 clip을 비교한다. 전제가 무너지면 executor를 context-following 목표로 학습하는 쪽이 메인 contribution이 된다.