demo = task specification 주장에 대해 반증 불가능한 세팅.stamp_seal instruction을 train 분포 어휘로 재작성해 text-only 재평가 — 재학습 불필요, Δvideo +29.67pp가 어휘 아티팩트인지 바로 판별 가능.전날(260909) RoboTwin 43/7 split 분석에서 두 가지 문제가 드러났다.
stamp_seal의 Δvideo(video 조건 순 기여)가 +29.67pp로 가장 컸는데, stamp/seal이라는 단어가 43개 train instruction에 0회 등장한다는 것을 확인했다. 태스크 구조(place_X_on_colored_mat)와 타깃 단어(mat, 3개 태스크에서 600회 등장)는 이미 train에 있다. 즉 video가 "언어가 원리적으로 줄 수 없는 정보"를 준 게 아니라, OOV(out-of-vocabulary) 단어로 망가진 언어 조건을 우회했을 가능성이 있다.demo = task specification이라는 핵심 주장을 검증도 반증도 할 수 없다.따라서 이 주장을 검증하려면 기존 벤치마크에서 사례를 고르는 것이 아니라, 모호성을 설계로 보장한 새 평가 스위트를 만들어야 한다. 이 문서는 그 설계 요구조건과 구체 스위트 안을 정리한 것이다.
주장이 성립하려면 "최선의 언어 명세로도 목표가 유일하게 결정되지 않는데, demo 하나로는 결정되는" 상황이 설계로 보장돼야 한다. 두 강도를 구분했다:
RoboTwin에서 stack_blocks_three의 Δvideo +9.00pp가 해석 불가능했던 이유는 SR 하나에 "무엇을 할지 알았는가"와 "실제로 해냈는가"가 섞여 있기 때문이다. 새 스위트는 K지선다 구조로 두 지표를 분리한다: specification accuracy(demo가 지정한 목표를 골랐는가, chance = 1/K로 기준선이 명확) 와 execution success(고른 목표에 대해 조작을 완수했는가).
기존 asset·씬 생성기를 재사용하되 태스크는 새로 정의한다.
| 계열 | 모호성의 원천 | K | demo가 지정하는 것 | 강도 |
|---|---|---|---|---|
| A. 임의 타깃 선택 | 동일 형상 매트 K개(색만 다름) + "put the mouse on a mat" | 3~5 | 어느 매트인가 | (i) |
| B. 연속 pose 지정 | "place the cup on the table" + 특정 (x, y, θ) | 연속 | 정확한 배치 pose (pose error로 측정) | (ii) |
| C. 관례 학습 | 동일 씬이 색 정렬/크기 정렬 둘 다 지지 + "sort the blocks" | 2~3 | 어떤 규칙으로 정렬하는가 | (i) |
| D. 배열 패턴 | "arrange the three blocks" + 특정 공간 패턴(직선/삼각/L) | 3~4 | 어떤 패턴인가 | (ii) |
같은 에피소드에 대해 사람(또는 LLM)이 쓸 수 있는 가장 정보량 많은 문장으로 재평가. 격차가 닫히면 그 태스크는 demo-necessary가 아니다. stamp_seal 교훈의 직접 산물 — 이 대조군 없는 결과는 어휘를 측정한 것일 수 있다.
같은 태스크 계열의 다른 에피소드 demo를 제공. 성능이 유지되면 모델이 demo를 내용이 아니라 형식 단서로 쓰고 있다는 뜻. ZW w/o IFP(28.55%) < text-only ZW(39.44%)에서 본 "video는 기본적으로 무시/방해" 현상의 검출기.
demo의 마지막 프레임만 제공. 목표 상태 정보 vs 모션 프라이어 정보를 분리한다.
1과 2는 대부분의 ICL 논문이 빠뜨리는 대조군이다 — 이걸 갖춘 스위트를 내놓는 것 자체가 평가 위생 측면의 독립적 기여가 된다.
계열 C(관례 학습)를 권장 — "내가 하는 방식대로 놓아라"는 실세계 동기가 자명하고, 독자에게 "언어로 쓰기 번거롭다"가 직관적으로 전달된다. 2~3 계열 × 20~30 trial 수준으로, chance 기준선이 있으므로 소표본에서도 유의성 주장이 가능하다. 시뮬과 동일한 모호성 구조를 유지해야 시뮬 결과의 주장이 실세계에서도 깨지지 않는다.
이 작업은 실험이 아니라 설계이므로, "결과"는 앞으로 실행할 실험 계획의 구체화다. 현재까지 확정된 것:
| 항목 | 확정 내용 |
|---|---|
| 1순위 실험 | stamp_seal 프롬프트 재작성 대조 — "Grab the yellow seal and position it onto the Turquoise mat"로 재작성 후 text-only 재평가 |
| 2순위 실험 | 계열 A(임의 타깃 선택) 최소 버전, chance=1/3, 매트 3색 |
| 3순위 | 대조군 1·2(언어 상한, 불일치 demo)를 계열 A에 붙여 파이프라인 검증 |
| 4순위 | 계열 B/D 확장 + 실로봇 계열 C |
RoboTwin 43/7 split 분석(260909)에서 얻은 정량적 결론 — "video 순기여 +7.51pp는 데이터 재설계 효과(+21.99pp)의 1/3"이라는 값 자체가, 이번 설계 문서가 지적하는 반증 불가능성 문제 때문에 완전히 신뢰할 수 없다는 점이 이번 작업의 핵심 통찰이다. Δvideo가 큰 태스크(stamp_seal +29.67pp)일수록 OOV 단어 개입 가능성이 높아, 지금까지의 "video 기여 25%" 추정치는 상한이 아니라 어휘 아티팩트로 부풀려진 값일 수 있다.
RoboTwin은 버리지 않는다 — 정밀도/long-horizon/양팔 조작의 실행 벤치마크로는 여전히 유효(SR 9~85% 분산이 진짜 신호). 다만 "demo가 명세를 제공한다"는 핵심 주장 검증은 RoboTwin 바깥의 새 스위트로 옮겨야 한다.
선행연구 확인이 안 된 상태로 이 설계가 작성됐다 — 모호한 instruction / demo-conditioned disambiguation 벤치마크가 이미 존재하는지 조사 필요. 또한 text-only ZW는 별도로 학습된 모델이라 Δvideo에 학습 역학 차이가 섞여 있는데, 새 스위트에서는 반드시 같은 모델을 다르게 프롬프트하는 방식으로 이 교란 요인을 제거해야 한다.
1) stamp_seal 프롬프트 재작성 대조 실험 — 가장 싸고(재학습 불필요), 새 스위트 필요성을 정당화하는 근거가 됨. 2) 계열 A(임의 타깃 선택, chance=1/3) 최소 버전을 RoboTwin 위에 구현. 3) 대조군 1·2를 계열 A에 붙여 파이프라인 검증. 4) 계열 B/D 확장 + 실로봇 계열 C.