agent 방식과 학습 모델 방식의 ICL을 같은 벤치마크에서 비교하기 위해, 이 클러스터 시뮬에서 실제로 돌릴 수 있는 것을 종류별로 고름.
18개 레포 README에서 시뮬, 체크포인트, API 의존을 추출하고 로컬 기존 프로젝트의 context와 대조. 실행은 하지 않음.
수치는 논문/README 보고치, Zero-WAM 자체 측정만 예외.
| 종류 | 방법 | 벤치마크 | 필요한 것 | 보고 성능 | 단점 |
|---|---|---|---|---|---|
| Agent 직접 제어 + ICL | RoboDawn | RoboTwin 2.0, RoboDojo | API endpoint (OpenAI 호환) | C2R zero-shot 53.2 → 1-demo 73.6% | 에피소드 10~30분, 요청당 이미지 최대 58장, 데모는 action 라벨이 있는 로봇 궤적 |
| Agent 직접 제어 + ICL | RoboICL | RoboDojo | Isaac Sim 5.1, Astra API | 30태스크 progress 50.64 | RoboDojo 미구축, seed 0 단일, Astra에서만 검증 |
| Agent 직접 제어 + ICL | Show-Harness | LIBERO, ManiSkill, Isaac Lab | Gemini API 또는 공개 Qwen3.5-2B 어댑터(vLLM) | zero-shot 89%, 증류 86% | 의미 단위로 못 쓰는 접촉 동작은 범위 밖 |
| Agent 직접 제어 + ICL | Robo-Harness K1 | LIBERO-Pro, RoboSuite | API, SAM3, TAPNext++ | Astra 61.1 → 88.9% | 데모 ICL이 아니라 지각 툴 보강 |
| Agent 직접 제어 + ICL | RoboProbe (Astra 평가) | RoboDojo | Isaac Sim 5.1, API | 22.48%, 데모 넣으면 17.9%/12.9%로 하락 | raw 데모가 해로운 조건의 재현용 |
| Agent 자기개선 | ASPIRE | LIBERO-Pro | 코딩 에이전트(Claude Code/Codex) | 14 → 72% | 여러 번 시도 필요, 생성 코드를 그대로 실행 |
| Orchestrator + 얼린 VLA | Harness VLA (RPent) | LIBERO(-Pro), RoboCasa365, RoboTwin C2R | ANTHROPIC_API_KEY, π0.5/LingBot-VLA ckpt, SAM3 | LIBERO-Pro 82.4% vs 50.0% | 채널이 언어, VLA 능력 밖 동작 불가 |
| Orchestrator + 얼린 VLA | CARE | RoboTwin 2.0 | π0 HTTP 서버, 교정 데이터 학습 | π0 39.6 → 60.7% | ICL 아님(교정 데이터로 학습) |
| Orchestrator + 얼린 VLA | VoLo | LIBERO, RoboCasa, Isaac Sim | VLM API | 41.8% vs π0.5 12.57% | README만 확인 |
| WAM ICL (사람 영상) | Zero-WAM | RoboTwin 2.0 | 공개 ckpt 37 GB ×2 (로컬에 환경 있음) | 논문 unseen 7태스크 47.0% / 자체 측정 demo 기여 +6.33pp | 틀린 demo로도 25.33% (자체 측정), 영상이 명세 역할을 못 함 |
| VLA ICL (자기 경험) | Zeva | RoboCasa (Atomic5) | 공개 ckpt | README 미기재 | 공개 ckpt는 시도 간 self-evolution 없이 평가됨, 사람 영상 아님 |
| 방법 | 이유 |
|---|---|
| HOST | 가중치는 있으나 평가가 녹화 데이터 기반, 시뮬 평가 없음 |
| Demo-JEPA | RLBench 코드만, 체크포인트 없음 → 3단계 학습부터 |
| Human2Robot | 실로봇 H&R 데이터 기준 |
| UniSkill | 가중치 있음, 시뮬 평가 경로 미확인 |
| MimicDroid | RoboCasa 벤치마크 레포, 정책 코드·가중치 미확인 |
| GPT-as-Policy hybrid | 자산·체크포인트 없는 스냅샷 |
| AGP, Astra Body, GPT-Policy(공식), F 계열 4개 | 실로봇 전용 |
RoboTwin 2.0이 유일한 공통 분모이고 허브가 이미 동작함. 단 프로토콜과 데모 종류가 방법마다 달라 공통 태스크 집합으로 다시 측정해야 비교가 성립.