Cosmos3-Nano-Policy-DROID — RoboLab 전체 120태스크 벤치마크

TL;DR

전체 성공률 445/1200 = 37.1% (95% CI [34.4–39.8]). 태스크당 n=10이라 태스크별 수치도 해석 가능하다.
완전 성공 18개 / 완전 실패 40개로 양극단이 두껍지만, 90·50·30·10% 등 중간값도 고르게 분포한다.
난이도 라벨은 예측력이 약하다 — RubiksCubesInBin은 complex인데 100%, LargerObjectRaisinBoxInBin은 simple인데 0%.
가장 단단한 발견: 쌓기 순서 지정 여부만 다른 통제된 쌍에서 성공률이 크게 갈린다 (아래 통제된 쌍).

37.1%

전체 성공률

445/1200

에피소드

100% 태스크

0% 태스크

태스크

1 태스크별 성공률

태스크	성공	%	95% CI	난이도	태그	길이
`ButterAboveRaisinTask`	10/10	100%	[78.3–100.0]	simple	spatial	40s
`RubiksCubeTask`	10/10	100%	[78.3–100.0]	simple		40s
`WoodSpatulaToBowlTask`	10/10	100%	[78.3–100.0]	simple	semantics	60s
`BananasInBinOneMoreTask`	10/10	100%	[78.3–100.0]	moderate	semanticscounting	60s
`MustardAboveRaisinTask`	10/10	100%	[78.3–100.0]	simple	spatial	40s
`PlasticBottlesInSquarePailTask`	10/10	100%	[78.3–100.0]	complex	semanticssortingsize	180s
`TakeMeasuringSpoonOutTask`	10/10	100%	[78.3–100.0]	simple	semantics	40s
`BananaInBowlTask`	10/10	100%	[78.3–100.0]	simple	semantics	50s
`BananasInBinThreeTotalTask`	10/10	100%	[78.3–100.0]	moderate	semanticscounting	60s
`BowlInBinTask`	10/10	100%	[78.3–100.0]	simple		60s
`MustardInLeftBinTask`	10/10	100%	[78.3–100.0]	simple	spatial	30s
`RubiksCubeOrBananaTask`	10/10	100%	[78.3–100.0]	simple	conjunction	30s
`BananaOnPlateTask`	10/10	100%	[78.3–100.0]	simple		40s
`BananasInCrateTask`	10/10	100%	[78.3–100.0]	moderate	counting	60s
`BananasOutOfBinTask`	10/10	100%	[78.3–100.0]	moderate	semanticsspatial	90s
`FruitsOnionTask`	10/10	100%	[78.3–100.0]	simple	semantics	60s
`OneBottleInSquarePailTask`	10/10	100%	[78.3–100.0]	simple	semantics	60s
`SauceBottlesCrateTask`	10/10	100%	[78.3–100.0]	simple	colorsemantics	40s
`PhoneOrRemoteInBinTask`	9/10	90%	[61.9–98.9]	simple	conjunction	60s
`RubiksCubeLeftOfBowlTask`	9/10	90%	[61.9–98.9]	moderate	spatial	30s
`CubesAndBlocksInBinTask`	9/10	90%	[61.9–98.9]	complex	sortingconjunction	240s
`RubiksCubeThenBananaTask`	9/10	90%	[61.9–98.9]	simple	conjunction	60s
`SmallerObjectButterInBinTask`	9/10	90%	[61.9–98.9]	simple	size	30s
`BowlStackingRightOnLeftTask`	8/10	80%	[49.7–95.6]	simple	spatial	20s
`RubiksCubeRightOfBowlTask`	8/10	80%	[49.7–95.6]	moderate	spatial	30s
`RedDishesInBinTask`	8/10	80%	[49.7–95.6]	simple	colorsemantics	60s
`RubiksCubeAndBananaTask`	8/10	80%	[49.7–95.6]	simple	conjunction	60s
`SpoonInMugTask`	8/10	80%	[49.7–95.6]	moderate	affordancespatial	60s
`BBQSauceInBinTask`	7/10	70%	[39.4–90.7]	simple	colorsemantics	90s
`RubiksCubesInBinTask`	7/10	70%	[39.4–90.7]	complex	sorting	120s
`FruitsOnPlate3Task`	7/10	70%	[39.4–90.7]	complex	semanticsvaguecounting	200s
`BowlStackingLeftOnRightTask`	7/10	70%	[39.4–90.7]	simple	spatial	20s
`StackWhiteMugsTask`	6/10	60%	[30.4–84.7]	moderate	stackingcolor	60s
`StackYellowOnRedTask`	6/10	60%	[30.4–84.7]	moderate	stacking	60s
`WhiteMugInCenterOfTableTask`	6/10	60%	[30.4–84.7]	moderate	colorspatial	30s
`ToyInBinTask`	6/10	60%	[30.4–84.7]	simple	semantics	60s
`YogurtInBowlTask`	6/10	60%	[30.4–84.7]	simple	colorsize	40s
`MarkerInMugTask`	6/10	60%	[30.4–84.7]	moderate	affordance	40s
`RubiksCubeInFrontOfBowlTask`	6/10	60%	[30.4–84.7]	moderate	spatial	30s
`BananaThenRubiksCubeTask`	5/10	50%	[22.4–77.6]	simple	conjunction	60s
`DishesInBinTask`	5/10	50%	[22.4–77.6]	moderate	vaguesemantics	180s
`FruitsGreenLimesOnPlateTask`	5/10	50%	[22.4–77.6]	simple	color	90s
`FruitsOnionToPlateTask`	5/10	50%	[22.4–77.6]	simple	semanticsvague	60s
`MustardInRightBinTask`	5/10	50%	[22.4–77.6]	simple	spatial	30s
`AnimalsInBinTask`	5/10	50%	[22.4–77.6]	simple	semantics	90s
`SmartphoneInBinTask`	5/10	50%	[22.4–77.6]	simple	semantics	60s
`MouseOnKeyboardTask`	5/10	50%	[22.4–77.6]	simple	semantics	60s
`PickOrangeObjectTask`	5/10	50%	[22.4–77.6]	simple	color	60s
`BlocksInBinTask`	5/10	50%	[22.4–77.6]	complex	sorting	150s
`ReorientRedMugTask`	4/10	40%	[15.3–69.6]	moderate	reorientationcolor	60s
`YellowAndWhiteObjectsInBinTask`	4/10	40%	[15.3–69.6]	simple	colorconjunction	60s
`BlockStackingOrderAgnosticTask`	4/10	40%	[15.3–69.6]	complex	stacking	90s
`PutTwoMugsOnShelfTask`	4/10	40%	[15.3–69.6]	moderate	affordancespatialcounting	180s
`UnstackRubiksCubeTask`	4/10	40%	[15.3–69.6]	moderate	stacking	90s
`AppleAndYogurtInBowlTask`	3/10	30%	[9.3–60.6]	moderate	affordance	120s
`FruitsMovingOrangeOrLimeTask`	3/10	30%	[9.3–60.6]	simple	conjunction	60s
`KeyboardOutOfBinTask`	3/10	30%	[9.3–60.6]	simple	spatial	60s
`ReorientWhiteMugsTask`	3/10	30%	[9.3–60.6]	moderate	reorientationcolor	60s
`FoodPacking1CansTask`	2/10	20%	[4.4–50.3]	simple	semantics	60s
`RubiksCubeBehindBowlTask`	2/10	20%	[4.4–50.3]	moderate	spatial	30s
`ElectronicsInBinTask`	2/10	20%	[4.4–50.3]	complex	semanticssorting	180s
`RedItemsInBinTask`	2/10	20%	[4.4–50.3]	moderate	colorsorting	60s
`CannedFoodInBinTask`	2/10	20%	[4.4–50.3]	simple	semantics	60s
`CondimentsInBinTask`	2/10	20%	[4.4–50.3]	complex	semanticssorting	180s
`GrabABagelTask`	1/10	10%	[1.1–38.1]	simple	semantics	30s
`GreenSpoonsInPotTask`	1/10	10%	[1.1–38.1]	complex	reorientationcolor	180s
`PutMugsOnShelfTask`	1/10	10%	[1.1–38.1]	moderate	affordancespatialcounting	180s
`UtensilsInMugTask`	1/10	10%	[1.1–38.1]	moderate	semanticsaffordance	90s
`CookingClearPlateTask`	1/10	10%	[1.1–38.1]	moderate	colorsorting	180s
`TakeMugsOffOfShelfTask`	1/10	10%	[1.1–38.1]	moderate	semanticsaffordance	180s
`ToolsPickingHammerTask`	1/10	10%	[1.1–38.1]	simple	semanticsspatialcolor	60s
`ClutterPlasticTask`	1/10	10%	[1.1–38.1]	moderate	semantics	180s
`FruitsOrangesOnPlateTask`	1/10	10%	[1.1–38.1]	moderate	countingvaguesemantics	90s
`ThrowAwaySnacksTask`	1/10	10%	[1.1–38.1]	simple	semantics	120s
`ToolOrganizationTask`	1/10	10%	[1.1–38.1]	moderate	semanticsspatialcolor	180s
`FoodPacking1BoxesTask`	1/10	10%	[1.1–38.1]	simple	semantics	60s
`GrabAFruitTask`	1/10	10%	[1.1–38.1]	simple	semantics	30s
`PickGlassesTask`	1/10	10%	[1.1–38.1]	simple	semantics	30s
`ReorientJugTask`	1/10	10%	[1.1–38.1]	moderate	semanticsreorientationaffordance	60s
`Stack3RubiksCubeTask`	1/10	10%	[1.1–38.1]	moderate	stacking	60s
`BlackItemsInBinTask`	0/10	0%	[0.0–21.7]	complex	colorsorting	120s
`ClampInRightBinTask`	0/10	0%	[0.0–21.7]	simple	semanticsspatial	60s
`CleanUpToysTask`	0/10	0%	[0.0–21.7]	complex	sortingsemantics	300s
`OneBottleOnShelfTask`	0/10	0%	[0.0–21.7]	simple	semantics	60s
`PutBowlOnShelfTopTask`	0/10	0%	[0.0–21.7]	simple	spatial	60s
`RecycleCartonsVerticalCrateTask`	0/10	0%	[0.0–21.7]	moderate	semanticsspatial	90s
`SmallPumpkinInBinTask`	0/10	0%	[0.0–21.7]	simple	size	60s
`ToolOrganizationBothTask`	0/10	0%	[0.0–21.7]	moderate	semanticsspatial	180s
`ToolsPickingAllHammersTask`	0/10	0%	[0.0–21.7]	complex	semanticsspatial	240s
`ToolsPickingDrillTask`	0/10	0%	[0.0–21.7]	simple	spatialsemantics	60s
`BigPumpkinInBinTask`	0/10	0%	[0.0–21.7]	simple	size	60s
`BlockStackingSpecifiedOrderTask`	0/10	0%	[0.0–21.7]	complex	stackingcolor	90s
`CoffeePotInBinTask`	0/10	0%	[0.0–21.7]	simple	semantics	60s
`FoodPacking2CansTask`	0/10	0%	[0.0–21.7]	simple	semantics	180s
`FoodPackingByColorTask`	0/10	0%	[0.0–21.7]	moderate	spatialsortingcolor	120s
`FruitsOnPlateTask`	0/10	0%	[0.0–21.7]	complex	semanticsvague	300s
`LargerObjectRaisinBoxInBinTask`	0/10	0%	[0.0–21.7]	simple	size	30s
`MoveBananaToBagelPlateTask`	0/10	0%	[0.0–21.7]	simple	semantics	90s
`PickUpBluePitcherTask`	0/10	0%	[0.0–21.7]	moderate	coloraffordance	30s
`ReorientAllMugsTask`	0/10	0%	[0.0–21.7]	complex	reorientation	90s
`BagelsOnPlateTask`	0/10	0%	[0.0–21.7]	simple	semantics	60s
`ClearOrganicObjectsTask`	0/10	0%	[0.0–21.7]	complex	semantics	240s
`CookingPickPastaToolTask`	0/10	0%	[0.0–21.7]	simple	spatialvaguecolor	60s
`FoodPacking3BoxesTask`	0/10	0%	[0.0–21.7]	moderate	semantics	240s
`FruitsMovingTask`	0/10	0%	[0.0–21.7]	simple	color	60s
`HammersInLeftBinTask`	0/10	0%	[0.0–21.7]	moderate	semanticsspatialcolor	180s
`PickDrillTask`	0/10	0%	[0.0–21.7]	simple	semantics	40s
`PickUpGreenObjectTask`	0/10	0%	[0.0–21.7]	simple	color	30s
`RecycleCartonTask`	0/10	0%	[0.0–21.7]	simple	semanticsvague	90s
`TakeSpatulaOffShelfTask`	0/10	0%	[0.0–21.7]	moderate	affordancespatial	60s
`ClutterPumpkinTask`	0/10	0%	[0.0–21.7]	simple	semantics	90s
`FoodPacking2BoxesTask`	0/10	0%	[0.0–21.7]	simple	semantics	180s
`FoodPacking3CansTask`	0/10	0%	[0.0–21.7]	moderate	semantics	240s
`JugsOnShelfTask`	0/10	0%	[0.0–21.7]	simple	semantics	120s
`NonHammerToolsInRightBinTask`	0/10	0%	[0.0–21.7]	moderate	semanticsspatialsorting	180s
`PinkSpoonInPotTask`	0/10	0%	[0.0–21.7]	moderate	coloraffordance	60s
`RecycleCartonsOnBoxTask`	0/10	0%	[0.0–21.7]	simple	semantics	90s
`SpoonsInPotTask`	0/10	0%	[0.0–21.7]	complex	reorientationsemanticsaffordance	180s
`ThrowAwayAppleTask`	0/10	0%	[0.0–21.7]	simple	semantics	60s
`WhiteMugsInBinTask`	0/10	0%	[0.0–21.7]	simple	color	60s

통제된 쌍: BlockStackingOrderAgnostic 40% vs BlockStackingSpecifiedOrder 0%. 같은 씬·같은 블록에 순서 지정만 추가된 차이라, "쌓기는 가끔 되지만 지정된 색 순서는 따르지 못한다"로 읽을 수 있다.

2 난이도별 / 태그별 집계

난이도	성공	%	태스크 수
`simple`	267/640	42%	64개
`moderate`	131/390	34%	39개
`complex`	47/170	28%	17개

스킬 태그	성공	%	태스크 수
`conjunction`	57/80	71%	8개
`counting`	43/70	61%	7개
`size`	25/60	42%	6개
`spatial`	109/290	38%	29개
`stacking`	21/60	35%	6개
`sorting`	38/120	32%	12개
`semantics`	173/600	29%	60개
`color`	70/260	27%	26개
`vague`	18/70	26%	7개
`affordance`	25/120	21%	12개
`reorientation`	9/60	15%	6개

태그 집계는 결론이 아니라 가설이다. 태그당 태스크가 1~4개뿐이고 서로 교란돼 있다. color가 5%로 낮지만 해당 태스크 4개가 전부 stacking·sorting·vague 같은 다른 어려운 축을 함께 갖는다. size·vague·conjunction·counting은 태스크가 1개뿐이라 사실상 그 태스크 하나의 결과다. 스킬 축을 분리하려면 축마다 통제된 쌍이 필요하다.

3 상상 vs 실제 — 비교 영상

Cosmos3는 action과 video를 함께 denoise하는 world-action model이라, 서버가 "모델이 예상한 미래"를 같이 돌려준다. 아래 영상은 왼쪽 = 모델의 상상, 오른쪽 = 같은 시각의 실제 렌더를 같은 시간축으로 붙인 것이다. 실패가 상상이 틀린 것인지 상상은 맞았는데 팔이 못 따라간 것인지 구분하는 데 쓴다.

읽는 법

· 궤적 플롯에서 commanded를 achieved가 잘 따라가는데도 실패 → 제어가 아니라 인식·예측 문제

· 그리퍼 achieved 값이 파지 성공의 무료 지표: 0.37 부근에서 멈추면 물체를 문 것, 1.0까지 닫히면 허공을 잡은 것

· 상상은 청크 시작 관측 하나로 만든 2.1초 예측이라 뒤로 갈수록 벌어지는 게 정상이다. 판단 기준은 "얼마나 닮았나"가 아니라 의도한 접촉·파지가 예측에 나타나는가이다.

통제된 쌍 — 순서 지정 여부만 다른 두 태스크

같은 씬, 같은 블록. 차이는 쌓는 순서를 지정했는가 뿐이다. 쌓기 동작 자체는 가끔 성공하지만(40%), 색 순서가 걸리면 성공률이 0%로 떨어진다. 두 태스크가 최소 차이라 이 비교만은 교란 없이 읽을 수 있다.

OrderAgnostic 4/10 (40%)
"블록을 쌓아라"

SpecifiedOrder 0/10 (0%)
"빨강→파랑→초록→노랑 순서로"

태스크별 대표 사례

실패가 있는 태스크는 실패 사례를, 100% 태스크는 성공 사례를 실었다. 전체 113개 비교 영상은 각 run 디렉토리의 _comparison/에 있다.

ButterAboveRaisinTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

WoodSpatulaToBowlTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananasInBinOneMoreTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

MustardAboveRaisinTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PlasticBottlesInSquarePailTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

TakeMeasuringSpoonOutTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananaInBowlTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananasInBinThreeTotalTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BowlInBinTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

MustardInLeftBinTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeOrBananaTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananaOnPlateTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananasInCrateTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananasOutOfBinTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsOnionTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

OneBottleInSquarePailTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

SauceBottlesCrateTask 10/10 (100%)
성공 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PhoneOrRemoteInBinTask 9/10 (90%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeLeftOfBowlTask 9/10 (90%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CubesAndBlocksInBinTask 9/10 (90%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeThenBananaTask 9/10 (90%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

SmallerObjectButterInBinTask 9/10 (90%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BowlStackingRightOnLeftTask 8/10 (80%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeRightOfBowlTask 8/10 (80%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RedDishesInBinTask 8/10 (80%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeAndBananaTask 8/10 (80%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

SpoonInMugTask 8/10 (80%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BBQSauceInBinTask 7/10 (70%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubesInBinTask 7/10 (70%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsOnPlate3Task 7/10 (70%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BowlStackingLeftOnRightTask 7/10 (70%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

StackWhiteMugsTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

StackYellowOnRedTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

WhiteMugInCenterOfTableTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ToyInBinTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

YogurtInBowlTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

MarkerInMugTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeInFrontOfBowlTask 6/10 (60%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BananaThenRubiksCubeTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

DishesInBinTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsGreenLimesOnPlateTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsOnionToPlateTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

MustardInRightBinTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

AnimalsInBinTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

SmartphoneInBinTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

MouseOnKeyboardTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PickOrangeObjectTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BlocksInBinTask 5/10 (50%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ReorientRedMugTask 4/10 (40%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

YellowAndWhiteObjectsInBinTask 4/10 (40%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BlockStackingOrderAgnosticTask 4/10 (40%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PutTwoMugsOnShelfTask 4/10 (40%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

UnstackRubiksCubeTask 4/10 (40%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

AppleAndYogurtInBowlTask 3/10 (30%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsMovingOrangeOrLimeTask 3/10 (30%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

KeyboardOutOfBinTask 3/10 (30%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ReorientWhiteMugsTask 3/10 (30%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPacking1CansTask 2/10 (20%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RubiksCubeBehindBowlTask 2/10 (20%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ElectronicsInBinTask 2/10 (20%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RedItemsInBinTask 2/10 (20%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CannedFoodInBinTask 2/10 (20%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CondimentsInBinTask 2/10 (20%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

GrabABagelTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

GreenSpoonsInPotTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PutMugsOnShelfTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

UtensilsInMugTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CookingClearPlateTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

TakeMugsOffOfShelfTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ToolsPickingHammerTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ClutterPlasticTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsOrangesOnPlateTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ThrowAwaySnacksTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ToolOrganizationTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPacking1BoxesTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

GrabAFruitTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PickGlassesTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ReorientJugTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

Stack3RubiksCubeTask 1/10 (10%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BlackItemsInBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ClampInRightBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CleanUpToysTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

OneBottleOnShelfTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PutBowlOnShelfTopTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RecycleCartonsVerticalCrateTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

SmallPumpkinInBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ToolOrganizationBothTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ToolsPickingAllHammersTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ToolsPickingDrillTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BigPumpkinInBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BlockStackingSpecifiedOrderTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CoffeePotInBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPacking2CansTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPackingByColorTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsOnPlateTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

LargerObjectRaisinBoxInBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

MoveBananaToBagelPlateTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PickUpBluePitcherTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ReorientAllMugsTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

BagelsOnPlateTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ClearOrganicObjectsTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

CookingPickPastaToolTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPacking3BoxesTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FruitsMovingTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

HammersInLeftBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PickDrillTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PickUpGreenObjectTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RecycleCartonTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

TakeSpatulaOffShelfTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ClutterPumpkinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPacking2BoxesTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

FoodPacking3CansTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

JugsOnShelfTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

NonHammerToolsInRightBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

PinkSpoonInPotTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

RecycleCartonsOnBoxTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

SpoonsInPotTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

ThrowAwayAppleTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

WhiteMugsInBinTask 0/10 (0%)
실패 사례 · 좌=모델의 상상 / 우=실제 렌더

commanded vs achieved 궤적 보기

4 실험 조건 / 재현

항목	값
정책	`nvidia/Cosmos3-Nano-Policy-DROID` (16B, UniPC 4 steps, chunk 32×8D)
시뮬	RoboLab @ IsaacSim 5.0 / IsaacLab 2.2.0, 카메라 `WRIST_LEFT_RIGHT_HEAD`
태스크 세트	120개 태스크
표본	태스크당 10 에피소드 (`--num-envs 10`, num-runs 1) = 총 1200건
실행	2 GPU 병렬 (server GPU0 / sim GPU1), `--qos=own`
런북	`scripts/README.md` (다른 모델 적용 절차 포함)

한계 — benchmark 태스크는 초기 위치 랜덤화가 없어 env 0~9가 모두 같은 초기 장면이다. 따라서 태스크당 n=10은 초기 조건 일반화가 아니라 정책 샘플링 노이즈에 대한 표본이다. "100% 태스크"는 그 배치에서 100%라는 뜻이지 물체 위치가 바뀌어도 그렇다는 뜻이 아니다. 개별 태스크 CI 폭은 여전히 20~30%p다.

평가 조건 — instruction-type: default (각 태스크의 기본 지시문. vague/specific 변형은 미측정). 카메라: WRIST_LEFT_RIGHT_HEAD. 샘플러: UniPC, num_steps 4 (릴리스 기본값 — 30스텝 A/B에서 성공률·화질 동일 확인).