이름과 생김새가 다른 물체 모델 점검
R&R-Bench · 2026-10-13 · API 비용 없음 (논문 실행 기록과 녹화 영상만 사용)
결론. vase 같은 사례가 더 있습니다. 물체 모델 216종을 화면에서 하나씩 확인한 결과, 이름으로는 알아볼 수 없는 모델이 21종입니다. 가장 큰 것은 remote control로, 6종 모두 버튼 없는 회색 판이나 검은 막대입니다. 이 21종이 정답인 질의는 Finding 176/720, Restore 162/564입니다.
216
확인한 모델
21
이름과 다른 모델
176 / 720
Finding 해당 질의
162 / 564
Restore 해당 질의
1무엇을 어떻게 봤나
지난 감사는 물체 종류(예: vase 전체) 단위로만 집계했습니다. 같은 종류 안에도 모델이 여러 개라서, 이번에는 모델 단위로 다시 봤습니다.
- 대상: 질의 정답이나 로봇이 옮긴 물체로 등장하는 모델 216종(장면에 원래 있던 물체 174종, 과제용으로 추가한 물체 42종).
- 사진: 모델마다 고정 카메라(exo_camera_1) 영상에서 그 물체가 가장 크게 보이는 프레임을 잘라 직접 봤습니다. 전체 모음은 맨 아래에 있습니다.
- 보조 수치: 논문 실행에서 R&R Agent writer가 그 물체를 집는 순간 붙인 이름(사진 제목의
writer 맞음/전체), 그리고 그 물체가 정답인 질의의 방법별 정답률.
정답 물체로 등장하지만 영상에서 위치를 추적한 기록이 없는 모델 19종(질의 정답 2,492개 중 59개)은 사진을 만들지 못해 확인하지 못했습니다. soap dispenser 17, cup 13, pot 7, newspaper 7개 등입니다.
2이름으로 알아볼 수 없는 모델 (21종)
사진 제목이 검은색이면 문제 모델, 초록색이면 비교용으로 넣은 정상 모델입니다.
| 이름 | 실제 모습 | 모델 수 | Finding | Restore | Routine |
|---|---|---|---|---|---|
| remote control | 버튼 없는 밝은 회색 판 5종, 검은 막대 1종. 이 이름의 모델 전부 | 6 | 120 | 121 | 정답 17, 규칙 근거 82 |
| vase | 목이 거의 없는 납작한 돔(냄비 뚜껑 모양). 노랑 2종, 파랑 2종. 파랑 1종(48585)은 짧은 목이 보여 경계선 | 4 (확인한 10종 중) | 13 | 12 | 0 |
| ladle | 긴 손잡이 숟가락 모양. 이 이름의 모델 전부 | 4 | 16 | 14 | 정답 9, 규칙 근거 38 |
| potato | 붉은 공. 사과·토마토와 같은 색과 크기 | 4 (확인한 17종 중) | 11 | 4 | 0 |
| pepper shaker | 구멍 뚫린 회색·유리 통. salt shaker와 구분할 표시가 없음 | 2 (3종 중) | 24 | 17 | 0 |
| hand towel | 조리대 위의 긴 회색 막대 | 1 | 0 | 0 | 정답 72 |
remote control 6종. 버튼이나 화면이 없어 butter knife, bar soap, spatula로 자주 불립니다.
vase. 윗줄 4종이 납작한 돔, 아랫줄은 목이 있어 꽃병으로 보이는 모델입니다.
ladle 4종과 spoon 2종(초록).
붉은 potato 4종과, 비교용 정상 potato·apple·tomato(초록).
pepper shaker 2종(검정)과 salt shaker·pepper shaker 다른 모델(초록). 나무 그라인더 모양은 salt와 pepper 양쪽에 다 있습니다.
전체 화면 예. 위부터 alarm clock(뒷면), hand towel(회색 막대), remote control(검은 막대), remote control(회색 판, 옆의 노란 돔이 vase).
3점수에 미친 영향 (논문 실행, gemini)
Finding과 Restore를 합쳐, 그 물체가 정답인 질의의 정답률입니다. 빨강은 나머지 질의보다 15%p 넘게 낮은 칸입니다.
| 정답 물체 | GT Action Log | Uniform Frames | MEM^R | MemER^R | R&R Agent |
|---|---|---|---|---|---|
| 문제 없는 모델 | 403/838 (48%) | 352/838 (42%) | 365/838 (44%) | 419/838 (50%) | 491/838 (59%) |
| remote control | 203/240 (85%) | 66/240 (28%) | 71/240 (30%) | 85/240 (35%) | 69/240 (29%) |
| vase (납작한 돔) | 14/25 (56%) | 4/25 (16%) | 1/25 (4%) | 6/25 (24%) | 1/25 (4%) |
| ladle | 9/30 (30%) | 14/30 (47%) | 1/30 (3%) | 13/30 (43%) | 10/30 (33%) |
| potato (붉은 공) | 11/15 (73%) | 5/15 (33%) | 1/15 (7%) | 7/15 (47%) | 6/15 (40%) |
| pepper shaker | 13/41 (32%) | 19/41 (46%) | 4/41 (10%) | 27/41 (66%) | 15/41 (37%) |
remote control과 vase는 영향이 뚜렷합니다. remote control 질의 240개에서 정답 로그를 받는 GT Action Log는 85%인데, 영상을 보는 네 방법은 28~35%입니다. 나머지 질의에서는 R&R Agent가 59%로 GT Action Log(48%)보다 높습니다. 납작한 vase 25개에서는 R&R Agent와 MEM^R이 각각 1개만 맞혔습니다.
ladle, 붉은 potato, pepper shaker는 질의가 15~41개로 적고 방법마다 방향이 달라, 점수 영향을 단정할 수 없습니다. 생김새가 이름과 다르다는 것만 확인됐습니다.
Routine은 규칙의 근거 물체에 remote control이 있는 질의 96개에서 R&R Agent가 53%, 근거에 문제 모델이 없는 186개에서 69%입니다. hand towel은 질의가 이름을 직접 주고 놓을 곳만 묻기 때문에 생김새의 영향이 작습니다.
remote control 질의는 물체가 작다는 점 등 다른 어려움도 섞여 있어, 차이 전부가 생김새 때문이라고는 할 수 없습니다. 다만 writer가 집는 순간에 remote control이라고 부른 비율이 장면 모델 65%, 추가 모델 43%로 낮은 것은 생김새 문제와 맞습니다.
4닮은 물체와 헷갈리지만 이름이 틀렸다고 하기는 어려운 모델 (23종)
| 이름 | 실제 모습 | 모델 수 | Finding | Restore |
|---|---|---|---|---|
| egg | 갈색 달걀. potato와 색·크기가 비슷. 추가 모델 Egg_30은 writer가 136번 중 63번 potato로 부름 | 8 | 15 | 6 |
| potato | 적갈색. 붉은 공보다는 덜하지만 사과와 헷갈림 | 3 | 12 | 4 |
| bottle | 입이 넓은 회색 유리병 1종뿐. 꽃병처럼도 보임 | 1 | 15 | 20 |
| salt shaker | 나무 그라인더. pepper shaker 한 종과 같은 모양 | 1 | 9 | 8 |
| bowl | 접시처럼 얕음 | 3 | 8 | 3 |
| cup | 굽 달린 잔 2종, 네모난 통 1종 | 3 | 6 | 5 |
| cooking pan / pot | pan 1종은 양손잡이 냄비 모양, pot 2종은 네모난 통·긴 손잡이 | 3 | 3 | 5 |
| alarm clock | Alarm_Clock_12는 영상에서 뒷면만 보임 (Routine 정답 34개) | 1 | 0 | 0 |
이 묶음은 논문 실행 점수에서 일관된 하락이 보이지 않았습니다(예: 갈색 egg 질의 21개에서 R&R Agent 62%).
갈색 egg 4종(검정)과 흰 egg·potato(초록).
alarm clock 뒷면, pan/pot, 얕은 bowl, cup, bottle.
mug와 cup, knife와 butter knife, pen과 pencil은 모델 자체는 이름대로 생겼고, 원래 서로 닮은 물건이라 여기에 넣지 않았습니다.
5정리와 다음
나머지 약 170종(apple, bowl 대부분, cell phone, key chain, knife, mug, pen, soap bottle, spatula, spoon, spray bottle, statue, tennis racket, tissue box, tomato 등)은 이름대로 보입니다.
녹화는 다시 만들지 않기로 했으므로, 고칠 수 있는 방법은 라벨 쪽 두 가지입니다.
- 권장: 해당 질의에 표시만 달고 점수를 두 벌로 보고 (전체 / 문제 모델 21종 제외). 질의 수가 Finding의 24%, Restore의 29%라 그냥 빼기에는 많습니다.
- 대안: 문제 모델의 채점 이름에 writer가 실제로 부르는 이름을 alias로 추가. 다만 질의문이 "remote control"이라고 묻는 한 reader가 기억 속 "butter knife"와 연결하지 못하므로 효과가 제한적입니다.
어느 쪽으로 할지 정해 주시면 data/v2에 반영하겠습니다. 추적 기록이 없는 19종은 정답 좌표로 카메라에 투영하면 사진을 만들 수 있습니다.
7반영 (2026-10-13 결정)
결정: ladle과 spoon은 같은 것으로, salt shaker와 pepper shaker도 같은 것으로 둔다. 붉은 potato, remote control, vase는 그대로 둔다.
| 항목 | 바뀐 것 |
|---|---|
| 이름 | ladle → spoon, pepper shaker → salt shaker. 예전 단어는 답으로는 계속 인정. 물체 이름 60 → 58개 |
| 질의문 | Finding 43, Restore 36, Routine 9, Resume 6개에서 단어 교체 (예: "Pick up the ladle" → "Pick up the spoon") |
| GT Action Log | 로그도 같은 단어를 씀 ("I picked up the spoon …") |
| 애매해진 질의 | Finding 4개. 다른 쪽 물체가 있는 자리도 정답으로 인정. 나머지는 두 물체가 같은 자리에 있거나 영상에 안 보여 영향 없음 |
| 실행 트랙 | 배포된 실험 목록은 예전 문구라서, 읽을 때 새 문구로 바꿔 연결 |
데이터 검증 0건, 테스트 293개(QA·데이터)와 939개(실행) 통과. 모델 호출 없이 프롬프트를 뽑아 ladle·pepper shaker라는 단어가 더 이상 나오지 않는 것을 확인했습니다.
Routine에서 정답이 spoon이고 근거 물체가 ladle인 질의 8개는 같은 이름이 근거가 되어 전보다 쉬워집니다. 점수에 미치는 효과는 QA를 다시 돌려야 알 수 있습니다.
8전체 모델 사진 (216종)
모델마다 왼쪽이 고정 카메라, 오른쪽이 손목 카메라입니다. 손목 카메라는 그리퍼에 가려 참고용입니다.
