‹ Index
2026-09-15 — Analysis

HumanGen ICL 샘플

Zero-WAM | Robbyant-Research/HumanGen 공개분 · generated human video ↔ source robot video
  • 37,727 pair · 6개 소스: Simulation ICL(RoboTwin)과 Pre-train ICL External 5종입니다. 논문의 74.2K pair 중 in-house·real-world 서브셋은 공개되지 않았습니다.
  • 생성 모델: 전체의 63%가 wan-local, 10%가 kling-v3입니다. RoboTwin은 전부 kling-v3입니다.
  • RoboTwin 재사용: 2,499 pair에 고유 human 영상은 994개입니다. 태스크당 50 pair를 채우려고 같은 태스크의 human 영상을 여러 robot episode에 붙였습니다.
  • 품질 필터: 모든 pair가 semantic 5이고, physics는 3 또는 5만 남아 있습니다.

1. 분포

37,727
ICL pair
36,222
고유 human 영상
2,047
robot task 폴더
6
소스

소스별 pair 수

RoboTwin 2.02,499AgiBot World6,659RoboCOIN6,102RoboMIND6,072InternData-A111,230OXE (Bridge)5,165

생성 모델 구성 (pair 비율)

kling-v3wan2.6-i2v-flashwan-localwan2.6 / 2.7-i2v
RoboTwin 2.0100%AgiBot World15%85%RoboCOIN14%83%RoboMIND12%87%InternData-A193%OXE (Bridge)41%58%

physics score 3인 pair 비율

RoboTwin 2.00.0%AgiBot World4.1%RoboCOIN9.9%RoboMIND7.0%InternData-A110.6%OXE (Bridge)5.3%

소스별 수치 (차트의 표 버전 포함)

소스pair고유 human 영상robot tasktask당 pair (중앙값 / 최대)kling-v3wan2.6-flashwan-localwan2.6/2.7physics 3원본 일부 구간human 영상 길이 (p10 / 중앙값 / p90)캡션 단어 수: human 지시 / human dense / robot dense
RoboTwin 2.02,4999945050 / 50100.0%0.0%0.0%0.0%0.0%0.0%5.0 / 5.0 / 5.0 s (n=150)16 / 16 / 15
AgiBot World6,6596,65918725 / 28614.7%84.8%0.0%0.5%4.1%85.3%5.0 / 5.0 / 5.0 s (n=150)13 / 169 / 59
RoboCOIN6,1026,10223814 / 6463.0%13.8%83.0%0.1%9.9%83.0%5.0 / 6.5 / 10.0 s (n=150)21 / 185 / 84
RoboMIND6,0726,07239219 / 271.1%12.0%86.8%0.0%7.0%98.9%5.0 / 5.0 / 8.0 s (n=150)16 / 161 / 64
InternData-A111,23011,2301,1612 / 2540.9%5.8%93.2%0.0%10.6%0.0%5.0 / 5.0 / 5.0 s (n=150)25 / 168 / 80
OXE (Bridge)5,1655,16519268 / 3000.3%41.2%58.4%0.1%5.3%99.7%5.0 / 5.0 / 5.0 s (n=150)12 / 160 / 72

human 영상 길이는 소스마다 무작위 150개의 mp4 헤더(mvhd)로 쟀습니다. robot task 폴더 수는 config의 경로(/videos/ 앞부분) 기준입니다.

2. 소스별 샘플 8개

소스마다 서로 다른 robot task에서 무작위로 뽑았고, 비율 5% 이상인 생성 모델과 physics 3 pair가 최소 1개씩 들어가게 했습니다(seed 0). RoboTwin은 학습 태스크(seen 43)에서만 뽑았습니다. 영상은 화면에 보일 때만 재생됩니다. 외부 5종의 로봇 영상은 공개 데이터가 ICL 구간만 잘라 episode 번호를 새로 매긴 clip이라, config의 원본 경로가 아니라 episode 메타데이터(episodes.jsonl의 icl)의 짝으로 찾았습니다.

RoboTwin 2.0 · Simulation ICL · 2,499 pair

pair가 많은 robot task: put_object_cabinet-demo_clean_collect_200-1000 (50), turn_switch-demo_clean_collect_200-1000 (50), click_bell-demo_clean_collect_200-1000 (50)

AgiBot World · Pre-train ICL (External) · 6,659 pair

pair가 많은 robot task: task_422 (286), task_390 (188), task_508 (183)

RoboCOIN · Pre-train ICL (External) · 6,102 pair

pair가 많은 robot task: Cobot_Magic_pour_drink (646), AIRBOT_MMK2_place_the_paper_drawer (194), RMC-AIDA-L_food_storage (163)

RoboMIND · Pre-train ICL (External) · 6,072 pair

pair가 많은 robot task: benchmark1_1_compressed/tienkung_gello_1rgb/left_hand_put_the_pear_in_the_bowl (27), benchmark1_1_compressed/tienkung_gello_1rgb/right_hand_put_red_pepper_on_the_plate (26), benchmark1_1_compressed/franka_3rgb/put_the_steamed_buns_on_a_ceramic_plate (26)

InternData-A1 · Pre-train ICL (External) · 11,230 pair

pair가 많은 robot task: pick_and_place_tasks/split_aloha/parallel_pick_and_place_right_left/dish (254), pick_and_place_tasks/split_aloha/parallel_pick_and_place_right_left/basket (250), pick_and_place_tasks/split_aloha/parallel_pick_and_place_right_left/pan (236)

OXE (Bridge) · Pre-train ICL (External) · 5,165 pair

pair가 많은 robot task: bridge_oxe/0.1.0/bridge_oxe_0.1.0_lerobot_part_12 (300), bridge_oxe/0.1.0/bridge_oxe_0.1.0_lerobot_part_5 (294), bridge_oxe/0.1.0/bridge_oxe_0.1.0_lerobot_part_8 (291)

3. RoboTwin 평가에 쓰는 human demo 7개

unseen 7 태스크 ICL 평가 때 evaluation/robotwin/robotwin_icl_human_videos.py가 태스크마다 고정해서 넣는 영상과, 같은 human 영상이 짝지어진 로봇 episode 하나입니다.

4. human 영상 하나를 여러 로봇 episode가 공유하는 예 (RoboTwin)

아래 3개 pair는 같은 human 영상 하나를 씁니다. 이 영상에 짝지어진 pair는 모두 7개입니다.