RoboICL / RoboDawn / GPT-Policy 리뷰

TL;DR

공통 구조: frozen GPT-6 Astra + IK 기반 결정적 실행기 + 폐루프. 학습된 VLA/WAM 없음.
차이는 인터페이스: RoboICL은 25 Hz 연속 증분 chunk, RoboDawn은 이산 의미 명령, GPT-Policy는 절대 TCP waypoint 도구.
데모가 돕는 조건: 데모를 action 인터페이스와 같은 형식으로 다시 써서 넣을 때 (+15 ~ +20pt).
빈자리: action 없는 사람 영상으로 접촉 태스크를 한 결과는 세 논문 어디에도 없음.

73.6%

RoboDawn 1-shot (RoboTwin2 C2R)

60.60

RoboICL 1-shot score (10태스크)

2/3

GPT-Policy 사람 영상 pick

2/5

RoboICL peg 삽입 (3-shot)

1 배경 / 목적

"영상 한 편으로 첫 시도 성공"을 목표로 잡으려면 세 논문이 실제로 무엇을 했고 어디까지 됐는지 알아야 한다. 이전에 초록 요약으로 인용한 수치도 본문으로 재확인했다.

2 작업 내용

RoboICL arXiv 2609.34261 Samsung + SJTU RoboDawn arXiv 2609.22966 Tsinghua + Tencent Hunyuan GPT-Policy arXiv 2609.19138 Morphi Robot 외 방법: arXiv HTML 본문을 텍스트로 변환해 직접 읽음. 그림은 캡션만 확인.

3 결과

한눈에 비교

	RoboICL	RoboDawn	GPT-Policy
action	H×14 연속 증분 chunk, 25 Hz	이산 명령 (move / rotate / point / gripper)	절대 TCP waypoint 도구
데모 종류	로봇 expert 궤적 (action 포함)	로봇 expert 궤적을 명령어로 재작성	사람 영상, 로봇 영상(±action), goal image
데모 넣는 방식	실행 이력과 같은 문법의 블록 J개	명령 primer + 태스크 데모, 근거 문장 포함	keyframe 최대 24개 + 텍스트 기록
이력 관리	anchor B−1개 + 최신 1개	memory + scratchpad	오래된 이미지 제한, 텍스트 요약
평가	RoboDojo 30태스크, 실로봇 3태스크	RoboTwin2 50태스크, RoboDojo 42태스크, 실로봇 3태스크	실로봇 10태스크, 조건당 3회
대표 수치	45.60 → 60.60 (progress)	53.2 → 73.6% (성공률)	0/3 → 2/3 (사람 영상)
비용	2.6 ~ 5.6M 토큰, 37 ~ 59분	9.74 s / 결정	5 ~ 25분, 5 ~ 12M 토큰

GPT-Policy context별 결과 (조건당 3회)

태스크	None	Video	Video + Action
Pick Red Towel (사람 영상)	0/3	2/3	해당 없음
Pick Up Notebook (사람 영상)	0/3	2/3	해당 없음
Unscrew Bottle Cap (로봇 영상)	0/3	2/3	3/3
Remove and Reinsert Plug (로봇 영상)	0/3	0/3	2/3

지표 주의: RoboICL의 실로봇 14.45 → 63.33 → 78.89는 성공률이 아니라 단계별 progress score 평균이다. Peg in Hole(공차 1 mm) 삽입 완료는 3-shot에서 2/5.

공통 한계: 미세 접촉과 삽입, 성공 판정, 에피소드당 수십 분과 수 M 토큰. RoboDawn 실로봇 cloth folding 0/10, RoboICL Make a Kong 0.00.

RoboICL ablation: 데모 블록과 이력 슬롯을 (12,12)로 나누면 80.25, (22,2)로 데모에 몰면 60.75. 데모만 촘촘히 넣는 것으로는 부족하다.

3b 메소드 상세

Astra 사용 방식

	RoboICL	RoboDawn	GPT-Policy
출력	H×14 증분 행렬 + note (H = 5 ~ 25)	진행도, 계획, scratchpad + 명령 평균 3.4개	도구 1개 선택 (move_to, move_eef_chunk, set_gripper, check_path, locate_point, done, give_up)
이미지	3뷰를 1장으로 합침, 최대 50장	다중 뷰 + grid 주석	wrist 2 + top, 오래된 이미지 제거
실행기	검증 → IK → 허용 prefix만 25 Hz	명령 → 목표 pose → motion planning	SLERP 보간 → IK 잔차 검사 → Ruckig
피드백	receipt (실행 step 수, 추종 오차, 중단 사유)	GIP pose와 gripper 변화	requested vs measured 오차, 거부 사유
이력	anchor B−1개 + 최신 1개, gap 표시	memory + scratchpad	텍스트 누적 또는 요약

데모 사용 방식

	RoboICL	RoboDawn	GPT-Policy
사람 영상	미사용	미사용	사용 (한 시점 RGB)
데모 출처	expert 궤적, 실로봇은 GELLO teleop	scripted expert, teleop	사람 영상, teleop 로봇 영상
변환	비중첩 action 블록 12개, 원본 action 그대로	waypoint로 축소 후 명령어로 재작성, 근거 문장은 VLM이 사후 작성	P0a window별 keyframe 선택 → P0b 전체 검토 (사람 영상 6 ~ 8장)
action 정보	있음	있음 (명령 형태)	사람 영상은 없음, Video+Action은 약 1 Hz 샘플

GPT-Policy 교란: 수건 태스크의 None 조건은 goal-only 문장이다. 방법을 글로 적은 procedural 변형이 부록에 있으나 결과가 표에 없어, 사람 영상의 이득이 영상에서 오는지 방법 정보에서 오는지 분리되지 않았다.

4 Takeaway

의미

"데모가 해롭다"는 Astra 공식 평가와 "데모가 +15 ~ +20pt"라는 두 논문의 차이는, 데모를 action 인터페이스와 같은 형식으로 다시 쓰느냐에 달려 있다.

세 논문 모두 강한 결과는 action이 붙은 로봇 데모에서 나왔다. action 없는 사람 영상은 GPT-Policy의 pick 2종뿐이다. "사람 영상 1편 → 접촉 조립 첫 시도 성공"은 아직 아무도 다루지 않았고, 필요한 단계는 사람 영상을 로봇 인터페이스 형식의 데모로 변환하는 것이다.

5 Next Steps

다음 실험

FurnitureSim one_leg에서 "action 없는 사람 영상", "인터페이스 정렬로 변환한 데모", "로봇 teleop 데모" 3조건 비교.

확인할 것

RoboICL 코드의 grammar와 anchor 구현, GPT-Policy의 keyframe 선택 프롬프트(P0a, P0b). 변환기를 어디에 끼울지 정하기 위함.