3 결과 (초판 — B를 옮긴 에피소드 포함, §7 정정판 참고)
| 장면 생성기 | 영상 | 캡션 | 유효 배치 | P(left) | 95% CI |
|---|
| left | L | L | 36 | 0.94 | 0.82–0.98 |
| left | L | R | 31 | 0.90 | 0.75–0.97 |
| left | R | R | 29 | 0.93 | 0.78–0.98 |
| left | R | L | 37 | 0.95 | 0.82–0.99 |
| right | L | L | 32 | 0.19 | 0.09–0.35 |
| right | L | R | 29 | 0.21 | 0.10–0.38 |
| right | R | R | 26 | 0.12 | 0.04–0.29 |
| right | R | L | 32 | 0.19 | 0.09–0.35 |
굵은 글씨는 장면 생성기와 반대쪽을 말하는 신호다. 유효 배치 비율은 63%이고, 놓은 쪽은 유효하게 놓은 에피소드만 센다.
왼쪽 장면에 오른쪽 영상과 오른쪽 캡션을 동시에 줘도 93%를 왼쪽에 놓는다. 오른쪽 장면에 왼쪽 영상과 왼쪽 캡션을 줘도 81%를 오른쪽에 놓는다.
7 정정 (2026-10-04): 엉뚱한 물체를 옮긴 에피소드 제외
보고서에 넣을 영상을 고르다가 발견했다. right 생성기 seed 100000에서 A(비누)는 그대로 있고 B(장난감 차)를 A 옆으로 옮겼는데, 이 에피소드가 "유효 배치"로 집계됐다. 유효 배치 252개 중 85개는 A가 3 cm 미만으로만 움직였다. 장면이 처음부터 유효 배치일 수는 없으므로, 이 85개는 B를 옮긴 것이고 좌/우 의미도 뒤집힌다.
| 장면 생성기 | 영상 | 캡션 | A 이동 ≥8cm & 유효 | P(left) | B를 옮김 |
|---|
| left | L | L | 33 | 1.00 | 2 |
| left | L | R | 27 | 1.00 | 4 |
| left | R | R | 23 | 0.91 | 6 |
| left | R | L | 28 | 1.00 | 9 |
| right | L | L | 11 | 0.18 | 20 |
| right | L | R | 13 | 0.08 | 15 |
| right | R | R | 14 | 0.00 | 12 |
| right | R | L | 15 | 0.00 | 17 |
- 장면 배치 효과 +92.5pp, 영상 효과 +6.7pp [−0.1, +13.5], 캡션 효과 +4.0pp [−2.7, +10.7]. 같은 장면에서 영상만 L↔R로 바꾼 42쌍 중 영상을 따라 바뀐 것은 2개다.
- 결론은 같고, 오히려 더 강해졌다. 놓는 쪽은 장면이 정하고, demo의 영향은 있더라도 장면 효과의 1/14 수준이다.
- 새 관찰: 언어를 끈 ICL 모드에서는 어느 물체를 옮길지도 정해지지 않는다. 전체의 21%, right 장면에서는 32%가 B를 옮긴다. demo는 일반적인 큐브를 옮기는 영상이라 옮길 물체를 알려주지 못한다.
6 영상 — 같은 장면, 반대 demo
각 카드는 같은 seed(같은 장면)이다. 왼쪽 열은 왼쪽 demo(캡션도 left), 오른쪽 열은 오른쪽 demo(캡션도 right)를 입력한 결과다. 위는 입력한 human demo, 아래는 정책 롤아웃(왼쪽 위 패널이 head 카메라)이다. 두 조건 모두 A를 실제로 옮겨(≥8 cm) 제대로 놓은 seed를 앞에서부터 2개씩 골랐다.
left 생성기 장면 · seed 100001 — demo가 반대여도 둘 다 왼쪽
왼쪽 demo 입력
→ 롤아웃: 왼쪽에 놓음 (A 이동 15 cm)
오른쪽 demo 입력
→ 롤아웃: 왼쪽에 놓음 (A 이동 16 cm)
left 생성기 장면 · seed 100004 — demo가 반대여도 둘 다 왼쪽
왼쪽 demo 입력
→ 롤아웃: 왼쪽에 놓음 (A 이동 13 cm)
오른쪽 demo 입력
→ 롤아웃: 왼쪽에 놓음 (A 이동 13 cm)
right 생성기 장면 · seed 100017 — demo가 반대여도 둘 다 오른쪽
왼쪽 demo 입력
→ 롤아웃: 오른쪽에 놓음 (A 이동 19 cm)
오른쪽 demo 입력
→ 롤아웃: 오른쪽에 놓음 (A 이동 17 cm)
right 생성기 장면 · seed 100025 — demo가 반대여도 둘 다 오른쪽
왼쪽 demo 입력
→ 롤아웃: 오른쪽에 놓음 (A 이동 21 cm)
오른쪽 demo 입력
→ 롤아웃: 오른쪽에 놓음 (A 이동 22 cm)
8 언어 기준선 (2026-10-04) — 언어 지시도 목표를 바꾸지 못한다
같은 장면에 지시문만 "left"/"right"로 바꿨다(클라이언트 ZW_INSTRUCTION_TASK). 모델은 두 개다: 언어로만 학습한 텍스트 전용 쌍둥이(같은 recipe, 32K)와 기존 ZW 32K의 language-only 모드. 각 50 에피소드이고, A를 실제로 옮긴(≥8 cm) 유효 배치만 센다.
| 모델 | 장면 생성기 | 지시문 | 왼쪽 | 오른쪽 | B를 옮김 |
|---|
| 쌍둥이 | left | left | 28 | 0 | 7 |
| 쌍둥이 | left | right | 29 | 0 | 6 |
| 쌍둥이 | right | left | 0 | 18 | 13 |
| 쌍둥이 | right | right | 0 | 21 | 11 |
| ZW lang | left | left | 29 | 0 | 7 |
| ZW lang | left | right | 35 | 0 | 7 |
| ZW lang | right | left | 0 | 21 | 15 |
| ZW lang | right | right | 0 | 26 | 7 |
장면과 반대인 지시를 따른 경우: 0/103. 언어로만 학습한 모델도 지시를 무시하고 장면을 따른다. 지시문이 옮길 물체(A)의 이름을 직접 말하는데도 약 20%는 B를 옮긴다.
해석 변경
목표를 정하지 못하는 것은 demo만의 문제가 아니라 모든 조건 신호에 공통이다. RoboTwin 학습 데이터에서는 장면 배치가 목표와 완전히 같이 움직이므로, 어떤 학습 방식이든 정책은 장면 지름길을 배운다. 그래서 이 실험으로는 demo와 언어 중 어느 쪽이 목표를 더 잘 전달하는지 비교할 수 없다(둘 다 0). 대신 RoboTwin 기반 평가로는 "demo = task specification"을 지지도 반박도 할 수 없다는 것을 실험으로 확인했다. 이 능력을 재려면 학습 단계부터 장면이 목표를 알려주지 않는 데이터가 필요하다.
영상 — 같은 장면, 반대 지시
텍스트 전용 쌍둥이 · left 생성기 장면 · seed 100001 — 왼쪽 열은 "left" 지시, 오른쪽 열은 "right" 지시. 둘 다 왼쪽에 놓음
지시문: "Grab the golden loaf with soft crust using the right arm and place left of the mouse with buttons and wheel."
→ 왼쪽에 놓음 (A 이동 16 cm)
지시문: "Position the soft golden medium bread directly to the right of the dark gray mouse."
→ 왼쪽에 놓음 (A 이동 16 cm)
텍스트 전용 쌍둥이 · left 생성기 장면 · seed 100004 — 왼쪽 열은 "left" 지시, 오른쪽 열은 "right" 지시. 둘 다 왼쪽에 놓음
지시문: "With the left arm, position the playingcards pack with blue top left of the compact beige box for tea."
→ 왼쪽에 놓음 (A 이동 15 cm)
지시문: "Position the playingcards box with white symbols directly to the right of the compact beige box for tea."
→ 왼쪽에 놓음 (A 이동 15 cm)
텍스트 전용 쌍둥이 · right 생성기 장면 · seed 100001 — 왼쪽 열은 "left" 지시, 오른쪽 열은 "right" 지시. 둘 다 오른쪽에 놓음
지시문: "Use the right arm to put the soft medium bread left of the mouse with scroll wheel"
→ 오른쪽에 놓음 (A 이동 17 cm)
지시문: "Set the round-topped loaf of bread right next to the oval-shaped mouse's right side."
→ 오른쪽에 놓음 (A 이동 18 cm)
텍스트 전용 쌍둥이 · right 생성기 장면 · seed 100002 — 왼쪽 열은 "left" 지시, 오른쪽 열은 "right" 지시. 둘 다 오른쪽에 놓음
지시문: "Shift the bread with rounded corners leftward to the side of the lightweight toycar"
→ 오른쪽에 놓음 (A 이동 14 cm)
지시문: "Grab the bread with golden surface color using the right arm and place it right of the small toycar."
→ 오른쪽에 놓음 (A 이동 12 cm)
ZW 32K language-only · left 생성기 장면 · seed 100001 — 왼쪽 열은 "left" 지시, 오른쪽 열은 "right" 지시. 둘 다 왼쪽에 놓음
지시문: "Set the round-topped golden bread to the left of the mouse with curved top"
→ 왼쪽에 놓음 (A 이동 15 cm)
지시문: "Move the golden bread with crusty surface using the right arm to the mouse with ergonomic design's right position."
→ 왼쪽에 놓음 (A 이동 16 cm)
ZW 32K language-only · right 생성기 장면 · seed 100007 — 왼쪽 열은 "left" 지시, 오른쪽 열은 "right" 지시. 둘 다 오른쪽에 놓음
지시문: "Set the smooth dark gray computer mouse carefully on the left of the soft golden baked bread"
→ 오른쪽에 놓음 (A 이동 13 cm)
지시문: "Move the mouse with buttons and wheel and place it to the soft golden baked bread's right."
→ 오른쪽에 놓음 (A 이동 14 cm)