정리 규칙을 기억하는 로봇 — 컨텍스트 3편과 질의
0 Task 가 무엇인가
컨텍스트: 부엌 조리대 하나에 음식(사과·감자·계란), 주방도구(칼·국자·뒤집개), 천을 섞어 둔다. 사용자가 정리 규칙을 말하면 로봇이 옮긴다(예: 음식은 책상, 도구는 식탁, 천은 바구니). 규칙은 집마다 임의다 — "수저는 소파" 도 있다.
질의: 컨텍스트가 끝난 뒤, 컨텍스트에서 한 번도 본 적 없는 같은 종류의 물건(토마토·포크·손수건)을 주고 "Put this away." 라고만 한다. 어디에 두어야 하는지는 컨텍스트를 기억해야만 알 수 있다. 정답은 그 종류의 수납처(같은 종류면 어느 인스턴스든).
| 변형 | 규칙의 증거가 어디에 있나 | 질의 |
|---|---|---|
| Direct ① 내가 한 것 | 사용자가 지시하고 로봇이 직접 옮긴 규칙 | "Put this away." — 로봇 앞에 처음 보는 물건 1개 |
| Direct ② 지나가며 본 것 | 아무도 말하지 않았고 로봇도 옮긴 적 없지만, 다른 규칙을 수행하는 길에 이미 정리돼 있는 배치를 본 규칙 (예: 소파 위에 칼 세 자루) | |
| Stateful 여러 개 | 위 규칙들 | "Clear the counter." — 조리대 위 처음 보는 물건 여러 개 + 규칙에 없는 미끼 1개(그대로 둬야 함) |
짝 편(쌍둥이): 같은 집·같은 물건에서 규칙 값만 바꾼 편. 같은 질의의 정답이 편마다 달라지므로, 상식으로 찍으면 한 편에서는 반드시 틀린다.
1 예시 A — Direct ①: 음식은 책상, 도구는 식탁, 천은 바구니
컨텍스트에서 일어나는 일
편 시작에 사용자가 세 문장을 말한다.
"Put the kitchen utensils from the countertop on the dining table."
"Put the clothes from the countertop into the laundry basket."
| 순서 | 로봇이 한 일 | 결과 |
|---|---|---|
| 1 | 감자를 조리대에서 침실 책상으로 | 성공 |
| 2 | 칼을 조리대에서 거실 식탁으로 | 성공 |
| 3 | 천을 조리대에서 빨래 바구니로 | 성공 |
| 4 | 사과를 책상으로 | 운반 중 떨어짐 |
| 5 | 칼을 식탁으로 | 성공 |
| 6 | 천을 바구니로 | 성공 |
로봇이 기억해야 할 규칙
음식 → 책상 · 주방도구 → 식탁 · 천 → 빨래 바구니
질의
| 종류 | 시작 상태 | 질의 | 정답 |
|---|---|---|---|
| Direct ① | 컨텍스트 끝 상태에서 정리해 둔 물건은 치우고, 처음 보는 토마토를 로봇 앞에 둔다 | "Put this away." | 책상 (음식) |
| Direct ① | 처음 보는 포크를 로봇 앞에 | "Put this away." | 식탁 (주방도구) |
| Direct ① | 처음 보는 손수건을 로봇 앞에 | "Put this away." | 빨래 바구니 (천) |
| Stateful | 조리대 위에 토마토 · 빵 · 포크 · 손수건 · 펜 | "Clear the counter." | 토마토·빵 → 책상 · 포크 → 식탁 · 손수건 → 바구니 · 펜은 그대로 (규칙 없음) |
2 예시 A′ — 같은 집, 규칙 값만 바꾼 짝: 천은 책상, 음식은 식탁, 도구는 바구니
"Put the food from the countertop on the dining table."
"Put the kitchen utensils from the countertop into the laundry basket."
| 순서 | 로봇이 한 일 | 결과 |
|---|---|---|
| 1 | 천을 침실 책상으로 | 성공 |
| 2 | 사과를 거실 식탁으로 | 성공 |
| 3 | 뒤집개를 빨래 바구니로 | 성공 |
| 4 | 천을 책상으로 | 파지 실패 |
| 5 | 계란을 식탁으로 | 성공 |
| 6 | 칼을 바구니로 | 파지 실패 |
로봇이 기억해야 할 규칙
천 → 책상 · 음식 → 식탁 · 주방도구 → 빨래 바구니
질의 — 예시 A 와 똑같은 질의, 정답만 다르다
| 종류 | 시작 상태 | 질의 | 정답 (A 에서는) |
|---|---|---|---|
| Direct ① | 토마토를 로봇 앞에 | "Put this away." | 식탁 (A: 책상) |
| Direct ① | 포크를 로봇 앞에 | "Put this away." | 빨래 바구니 (A: 식탁) |
| Direct ① | 손수건을 로봇 앞에 | "Put this away." | 책상 (A: 바구니) |
| Stateful | 조리대 위에 토마토 · 빵 · 포크 · 손수건 · 펜 | "Clear the counter." | 토마토·빵 → 식탁 · 포크 → 바구니 · 손수건 → 책상 · 펜은 그대로 |
3 예시 B — Direct ②: 말한 적도 옮긴 적도 없는 규칙을 지나가며 본다
컨텍스트에서 일어나는 일
사용자는 규칙 두 개만 말한다. 주방도구 세 개(칼·국자·뒤집개)는 처음부터 거실 소파 위에 놓여 있고, 로봇은 부엌과 침실을 오가며 그 앞을 지나간다.
"Put the clothes from the countertop into the laundry basket."
| 순서 | 로봇이 한 일 | 결과 | 지나가며 본 것 |
|---|---|---|---|
| 1 | 감자를 침실 책상으로 | 성공 | 거실 소파 위의 칼·국자·뒤집개 (네 번 모두 화면에 잡힘) |
| 2 | 천을 빨래 바구니로 | 성공 | |
| 3 | 계란을 책상으로 | 성공 | |
| 4 | 천을 바구니로 | 성공 |
로봇이 기억해야 할 규칙
음식 → 책상 · 천 → 빨래 바구니 (내가 한 것) · 주방도구 → 소파 (지나가며 본 것)
질의
| 종류 | 시작 상태 | 질의 | 정답 |
|---|---|---|---|
| Direct ② | 소파 위 도구들을 치우고, 처음 보는 포크를 로봇 앞에 | "Put this away." | 소파 (주방도구) — 텍스트 기록에는 없는 규칙 |
| Direct ① | 처음 보는 토마토를 로봇 앞에 | "Put this away." | 책상 (음식) |
| Direct ① | 처음 보는 손수건을 로봇 앞에 | "Put this away." | 빨래 바구니 (천) |
| Stateful | 조리대 위에 토마토 · 손수건 · 포크 · 펜 | "Clear the counter." | 토마토 → 책상 · 손수건 → 바구니 · 포크 → 소파 · 펜은 그대로 |
같은 편에서 Direct ① 과 Direct ② 질의가 함께 나온다. 텍스트 기록만 보는 모델은 ① 은 맞히고 ② 는 못 맞힌다.
4 예시 C — 실행 규칙 2개 + 관찰 규칙 1개, 질의까지 갖춘 편 (짝)
다른 집. 사용자는 규칙 두 개만 말하고(음식은 식탁, 그릇은 바구니), 비누병 세 개가 사이드테이블에 정리돼 있는 것은 지나가며 본다. 조리대에는 처음부터 빵·머그·분무기(컨텍스트에 안 나온 종류)가 놓여 있고 로봇은 건드리지 않는다. 질의는 컨텍스트 끝 상태 그대로에서 낸다.
"Put the dishes from the countertop into the laundry basket."
로봇이 기억해야 할 규칙
음식 → 식탁 · 그릇 → 빨래 바구니 (내가 한 것) · 세면용품 → 사이드테이블 (지나가며 본 것)
질의 (끝 상태 그대로)
| 종류 | 질의 | 정답 | 짝 편의 정답 |
|---|---|---|---|
| Direct ① | "Put the bread on the countertop away." | 식탁 | 빨래 바구니 |
| Direct ① | "Put the mug on the countertop away." | 빨래 바구니 | 사이드테이블 |
| Direct ② | "Put the spray bottle on the countertop away." | 사이드테이블 | 식탁 |
| Stateful | "Clear the countertop." | 빵 → 식탁 · 머그 → 바구니 · 분무기 → 사이드테이블 · 남은 사과·컵도 각 규칙대로 | 전부 교체 |
이 편은 질의 행까지 생성돼 있다(`queries.jsonl`). 채점은 물건이 정답 종류의 수납처 위(또는 바구니 안)에 놓였는지로 본다.
5 질의의 시작 상태
컨텍스트 끝 상태 그대로 쓴다. 정리에 쓰지 않은 같은 종류의 물건(빵·머그·분무기·토마토·포크·손수건)이 처음부터 조리대에 놓여 있고, 질의는 그것을 정리하라고 한다. 규칙은 컨텍스트에서만 배울 수 있고, 질의 시점의 세계에는 그 물건을 어디에 둬야 하는지가 나타나지 않는다.
채점: 물건이 정답 종류의 수납처 위(또는 바구니 안)에 놓이면 정답. 같은 종류의 수납처가 여러 개면 어느 것이든 인정.