데이터셋 크기: ALOHA 680 ep (_phys 179) · UR5e 518 ep (_phys 289).
각 영상: 위 header(메타데이터) · 3분할(사람 원본 | 학습이 보는 데이터셋 이미지 | physics replay) · 아래 timeline(frame별 flag와 gripper state/action, 흰 cursor가 현재 frame).
기본 export에 거의 전부 bad인 episode가 많음. ALOHA는 accepted 680개 중 244개가 frame_bad ≥ 90%, 426개가 ≥ 50%.
_phys export에도 관통 episode가 남아 있음. aloha_subject4_o2_1_680-847 (open the milk)은 static 성공이라 _phys에 들어갔지만, 왼쪽 object_penetration 100%, 오른쪽 33%, frame_bad 100%임.
flag로 안 잡히는 '떠 있는 물체'가 있음. aloha_subject1_h2_5_119-152 (spray the spray, accepted, train)에서 사람이 spray를 최대 143 mm 들어 올리는 동안, 데이터셋 이미지에서는 손이 지워져 spray가 공중에 떠 있음.
inpainting 흔적이 남아 있음. aloha_subject3_o1_5_185-277 (_phys 성공)은 손이 있던 자리 spray 주변에 흰 번짐이 있고, 화면 아래에 어두운 덩어리(소매)가 남음.
56
영상
44
accepted 샘플
12
rejected 샘플
680
ALOHA episodes
518
UR5e episodes
1 영상 읽는 법
① 사람 원본 (H2O) H2O cam4 원본 frame (640×360). physics 구간 안에서는 GT 물체 이동/높이도 표시.
② 데이터셋 이미지 export의 observation.images.ego episode 영상을 decode한 그대로 (학습이 보는
이미지). rejected 후보는 export되지 않았으므로 work dir의 composite.mp4를 빨간 테두리로 표시.
③ physics replay dataset action을 MuJoCo 트윈에서 재생한 결과를 어둡게 한 실제 frame 위에 그림. 초록 ghost = GT
물체, 빨강 ghost = 로봇 없이 둔 물체.
위 header: 로봇 · sequence · episode key · task · label source · split · 길이 / accept 여부와 reject 사유 · _phys
포함 여부 / physics 판정과 실패 원인 · 관통/grasp/frame_bad/ik_transition 비율.
아래 timeline (episode 전체, 흰 cursor = 현재 frame)
frame_bad: aux.frame_bad — 그 frame의 실패(IK 실패, 충돌, 테이블 관통, 손이 물체 안 등)의 합집합
obj_penetr. L: aux.object_penetration[left] — 도달한 로봇 손이 물체 안으로 2 mm 넘게 들어간 frame
obj_penetr. R: aux.object_penetration[right]
grasp L: aux.grasp[left] — gripper가 물체를 잡고 squeeze하는 frame
grasp R: aux.grasp[right]
ik_transition L: aux.ik_transition[left] — IK 복구용 joint-space transition frame
ik_transition R: aux.ik_transition[right]
physics replay: physics replay 구간 (밝음: 물체 GT pose 있음, 어두움: 없음). 구간 밖에서는 3번째 패널이 어둡게 표시됨
gripper L/R: state(실제 도달 opening, 0~1) ·
action(명령). 물체를 잡는 동안 action이 state보다 작음
(squeeze).
accepted episode의 timeline은 export parquet 값이고, work dir에서 다시 계산한 값과 일치함을
렌더링 때 확인함 (최대 차이 0).
reject 사유 분포 (한 후보가 여러 사유를 가질 수 있음): L1 ik_fail 357, L1 object collision 172, L3 VLM 13, L2 z-score 12, L2 gripper rate 4
물체
dataset ep
샘플 accepted
샘플 rejected
book
33
2
0
cappuccino
64
3
1
chips
79
3
0
cocoa
65
2
1
espresso
60
2
1
lotion
85
4
1
milk
72
3
1
spray
60
3
1
동사
dataset ep
샘플 accepted
샘플 rejected
apply
16
2
1
close
29
2
0
grab
93
3
1
open
60
2
1
place
151
2
1
pour
9
2
0
put in
41
2
0
read
21
2
1
spray
8
2
0
squeeze
3
1
0
take out
87
2
1
3 샘플 선택
로봇마다 seed 0의 층화 샘플. accepted: 물체 · 동사 · label source(gt/vlm) · split · physics
성공/실패 · 관통 flag · 길이(짧음/중간/긺, accepted 길이 3분위)의 모든 값을 먼저 덮고, 이후 가장 덜 나온 값 위주로 채움
(physics 실패 원인과 moved/static도 가중치 0.5로 균형). rejected: reject 사유 범주(L1 ik_fail, L1 object collision, L2,
L3 VLM, ...)를 돌아가며 하나씩 고름 (첫 바퀴는 그 사유 하나로만 reject된 후보 우선).
4 영상에서 본 데이터 문제
기본 export에 거의 전부 bad인 episode가 많음. ALOHA는 accepted 680개 중 244개가 frame_bad ≥ 90%, 426개가 ≥ 50%. UR5e는 518개 중 66개 / 139개. 대부분은 사람 손 궤적을 따라간 gripper가 물체를 관통하는 aux.object_penetration frame임. 예: aloha_subject2_o1_5_331-506 (176 frame 내내 왼쪽 gripper 손가락이 cocoa 상자 안), aloha_subject3_o1_0_38-119, aloha_subject3_h1_1_339-430, ur5e_2f85_subject3_o2_0_368-433. _phys export에서는 ALOHA 2 / 12개, UR5e 4 / 19개로 줄어듦.
_phys export에도 관통 episode가 남아 있음. aloha_subject4_o2_1_680-847 (open the milk)은 static 성공이라 _phys에 들어갔지만, 왼쪽 object_penetration 100%, 오른쪽 33%, frame_bad 100%임. 영상에서도 두 gripper가 우유팩 안에 들어가 있음. static episode는 물체가 그대로 있으면 성공으로 판정되므로 관통이 걸러지지 않음. _phys 전체로 보면 관통 frame ≥ 50%인 episode가 ALOHA 179개 중 12개(9개 static), UR5e 289개 중 19개(18개 moved)임.
flag로 안 잡히는 '떠 있는 물체'가 있음. aloha_subject1_h2_5_119-152 (spray the spray, accepted, train)에서 사람이 spray를 최대 143 mm 들어 올리는 동안, 데이터셋 이미지에서는 손이 지워져 spray가 공중에 떠 있음. 오른쪽 gripper target은 사람 gripper pose에서 7–25 cm 떨어져 있는데 frame_bad, grasp, 관통은 모두 0%임. 원인 추정: 오른손 grasp_state가 frame 39–189 내내 release임(앞의 held 구간 0–38에서 시작된 release가 151 frame 지속, 겹치는 78–183 구간은 ungraspable). 그래서 사람 손을 따라가지 않음. 같은 조건(GT lift > 5 cm, aux.grasp 0, 관통 0)에 걸리는 ALOHA accepted episode는 5개: subject1/h2/5 64-115·119-152, subject3/o1/7 114-171·189-376, subject4/k1/2 118-170 (원인은 119-152에서만 확인). UR5e에는 0개.
inpainting 흔적이 남아 있음. aloha_subject3_o1_5_185-277 (_phys 성공)은 손이 있던 자리 spray 주변에 흰 번짐이 있고, 화면 아래에 어두운 덩어리(소매)가 남음. aloha_subject1_h2_5_119-152는 화면 아래 가운데에 검은 덩어리가 있음. rejected aloha_subject2_k1_6_745-831에서는 손목시계가 지워지지 않고 남아 있고, L3 VLM(score 3, human_visible)이 이를 올바르게 걸러냄.
UR5e 팔이 카메라를 크게 가리는 경우가 있음. ur5e_2f85_subject4_k1_6_441-537 (accepted)은 오른쪽 어깨/상완이 화면 오른쪽 위 약 1/4을 덮음. rejected ur5e_2f85_subject4_k2_1_716-941은 끝부분(H2O frame ≈ 918)에서 팔꿈치가 화면 왼쪽 절반을 덮음(L1 ik_fail로 reject됨). subject4 장면은 오른쪽 가장자리에 UR5e 어깨가 자주 보임.
잘 된 예로 aloha_subject3_o1_5_185-277, ur5e_2f85_subject3_h2_4_0-48 (open the chips), ur5e_2f85_subject4_k2_1_578-661 (pour the milk)이 있음. 세 패널 모두에서 gripper가 물체를 감싸 들어 올리고, physics replay의 물체(초록 GT와 겹침)도 따라 움직임.
검증 결과: 56개 영상 모두 H.264 yuv420p 30 fps, moov가 mdat 앞(faststart), frame 수 = episode 길이. 2번 패널과 export decode frame의 평균 차이는 2.7/255 (같은 frame), 7 frame 어긋나면 21.9/255. accepted 44개 모두 parquet 배열과 work dir에서 다시 계산한 배열의 차이가 0임.
episode별 관찰은 해당 카드 아래 주황색 상자에 있음.
5 갤러리
로봇
accept 여부
물체
동사
physics
관통 flag
split
label
표시 중: 56 / 56 episode
close the chips #aloha_subject4_h2_4_360-538
ALOHAacceptedphysics fail · overextended_phys 제외관통 flag 100%test · vlm
subject4/h2/4 · frame 360–538 (179 frame, 6.0 s) · export episode 530 · object_penetration L 100% / R 51% · grasp L 0% / R 0% · frame_bad 100%
grab the espresso #aloha_subject2_o1_6_388-421
ALOHAacceptedphysics success_phys 포함train · gt
subject2/o1/6 · frame 388–421 (34 frame, 1.1 s) · export episode 273 · object_penetration L 0% / R 0% · grasp L 24% / R 0% · frame_bad 0%
place the cappuccino #aloha_subject3_o1_0_38-119
ALOHAacceptedphysics fail · start_collision_phys 제외관통 flag 77%val · gt
subject3/o1/0 · frame 38–119 (82 frame, 2.7 s) · export episode 405 · object_penetration L 77% / R 21% · grasp L 0% / R 0% · frame_bad 77%
관찰: 양손 gripper가 cappuccino 상자에 박힘(관통 L 77%, R 21%). physics에서는 시작부터 충돌해 물체(빨강)가 튕겨 나감.
apply the spray #aloha_subject4_k2_5_403-661
ALOHAacceptedphysics success_phys 포함test · vlm
subject4/k2/5 · frame 403–661 (259 frame, 8.6 s) · export episode 598 · object_penetration L 0% / R 0% · grasp L 0% / R 0% · frame_bad 8%
open the lotion #aloha_subject3_h2_3_156-220
ALOHAacceptedphysics fail · not_held_phys 제외관통 flag 68%train · gt
subject3/h2/3 · frame 156–220 (65 frame, 2.2 s) · export episode 330 · object_penetration L 68% / R 0% · grasp L 0% / R 8% · frame_bad 68%
subject1/h2/5 · frame 119–152 (34 frame, 1.1 s) · export episode 54 · object_penetration L 0% / R 0% · grasp L 0% / R 0% · frame_bad 0%
관찰: spray가 공중에 떠 있음(사람 손은 지워졌고 로봇 gripper는 7–25 cm 떨어짐). frame_bad·grasp·관통 모두 0이라 어떤 flag로도 안 잡힘. 오른손 grasp_state가 frame 39–189 내내 release임. 화면 아래 가운데에 검은 inpainting 덩어리.