온라인 하네스 vs 실데이터 — 임의 결정 전수 대조

TL;DR

하네스 코어는 전부 생존 — 턴 루프·JSON 계약·검증/재질의·oracle 판정·기록은 데이터셋 규약과 무관하게 유효. 바뀌는 건 "에피소드를 차리는 방법"뿐
판정: 유지 5 / 변경 5 / 결정필요 1 / 무관 1 — 변경 5건은 전부 어댑터 계층(loader·skill·camera·config), 오케스트레이터 본체 무수정
최대 갭 = embodiment: 실데이터는 mobile Franka 11-dim @25Hz, 우리 정책은 고정 8-dim @15Hz → N0 텔레포트 트랙 추천(base는 오케스트레이터, arm은 기존 π0.5-FT 그대로, 새 학습 0)
데이터 자체 버그 4건·채점 로직은 eval 세션 소관(이미 설계 확정) — 중복 작업 금지 경계 명시

유지

변경(어댑터)

결정필요

2편

실측 샘플

1 대조표 — 임의 결정 12건 전수

#	항목	우리가 임의로 정한 것 (T1~T4)	실데이터 (~/sample 실측)	판정
1	Embodiment/정책	고정베이스 Franka 8-dim(관절7+그리퍼1) @15.15Hz, π0.5-FT `franka_2cam_15k`	mobile Franka 11-dim `{arm:7, base:[x,y,yaw], gripper:1}` @25Hz	결정필요 §2
2	스킬 어휘	pick / pick_and_place (navigate 없음)	질의 template NavToObj ("Navigate to the bowl I moved earlier"), 성공 1.5m+가시	변경 navigate=N0 텔레포트 추가
3	에피소드 초기 상태	sampler 즉석 생성 (로봇 랜덤 배치)	write-phase 종료 상태에서 질의 시작 (eval 세션 확정). 복원 소스 = `final_state.npz` + h5 `env_states`	변경 상태 복원 어댑터
4	Instruction 소스	CLI 자유 문장	`queries[].query` + kind(find_target/distractor) + ambiguous/answers	변경 query 주입 + abstain 매핑(없는 게 정답)
5	카메라	2캠 624×352	3캠(wrist/exo1/exo2) 640×480 25fps	변경 VLA 어댑터: wrist+exo1 선택+letterbox
6	제어 주기/예산	pnp horizon 900스텝(=60s@15Hz)	25Hz → 60s=1500스텝. 세그먼트 실측 22~30s	변경 Hz/horizon 프로필 재계산
7	subgoal 문법	pnp = 원자 1덩어리 (PromptSampler 5템플릿)	write-phase는 Pick+Place(tail) 분할, `"Place the {} in or on the {}"` = 정책 템플릿에 없는 OOD 문구	유지 (우리가 맞음 — 분할 문구 따라가면 안 됨)
8	객체 ID/인벤토리	body uid + category + room + 좌표	`answers.obj`가 동일 uid 규약 확인 (`stand_6bc0…_2_0_7`)	유지 (room 3자 매핑만 확인 항목)
9	done 판정	oracle 물리 술어 + timeout	NavToObj: 1.5m 이내+가시	유지+확장 NavToObjTask.judge 재사용
10	retract-home	고정베이스 보간 복귀	mobile이면 base 이동 존재	유지(조건부) 텔레포트 시 arm home으로 흡수
11	VLM 모델/조건	gemini-3.6-flash, oracle	eval 세션과 공유 (blind/textlog/frames)	유지
12	W-obs/W-act	하네스 무관(실행만)	W-act ("I moved") 수용 확정	무관 (eval 세션 소관)

2 최대 갭: embodiment — 처리 방안

실데이터 로봇(mobile 11-dim)을 우리 π0.5-FT(고정 8-dim)가 그대로 굴릴 수 없다.

(a) N0 텔레포트 트랙 추천 — 원설계와 정합

base 3-dim은 정책이 아니라 오케스트레이터 텔레포트(navigate 스킬)로 처리, arm+gripper 8-dim만 π0.5-FT 담당. 새 학습 0, 현행 체크포인트 그대로. 벤치 공리 A3(메모리/제어 분리)와 일치 — navigate는 "어디로 갈지의 결정"만 측정하고 이동 제어 분산을 제거.

(b) mobile 11-dim 정책 신규 FT 장기

본 데이터셋이 학습 셋으로도 제공될 때 가능한 별도 학습 트랙. Tier B 고충실도 조건으로 추후 승격.

Tier A에는 영향 0: eval 세션이 확정한 Tier A(심볼릭, 시뮬 out-of-loop)는 실행이 없다 — 이 갭 전체가 Tier B 진입 시점의 작업이다.

3 실측 근거 (직접 파싱)

meta.json : cameras=[wrist_camera, exo_camera_1, exo_camera_2], fps=25.0, house="val_136" eval_spec.json: queries[0] = {kind:"find_target", template:"NavToObj", query:"Navigate to the bowl I moved earlier", answers:[{obj:"tissuepaper_1f28…_1_0_7", xyz:[6.374,10.051,0.791], room:7, surface:"stand_6bc0…_2_0_7"}], candidates:[{obj:…, evidence:{event:0, frames:[1,2628], total_seen_s:136.44}}]} subtasks.json : {house, seed, fps, subtasks[5], dropped[]} — task_description은 풍부한 자연어 ("Pick up the bowl from the dining table in the living room and place it …") traj.h5 : actions{commanded_action, ee_pose, ee_twist, joint_pos, joint_pos_rel}, env_states{actors, articulations}, obs{agent, extra, sensor_data, sensor_param} 액션 공간 : {arm:7, base:[x,y,yaw], gripper:1} = 11-dim mobile, policy_dt 40ms (eval 세션 실측)

경계 명시: 데이터 자체의 릴리즈 차단 버그 4건(swapped/target=distractor/ambiguous 중복/질의시점 가시)과 채점·3조건 컨텍스트는 eval 세션이 소유(plan-memory_eval_logic.md에 설계 확정) — 이 세션은 실행 하네스 어댑터만 담당해 중복 작업을 금지한다.

4 sbench_online 후속 작업 목록 (Tier B 진입 시)

#	작업	내용
1	상태 복원 어댑터	`final_state.npz`/`env_states` → free body pose·관절 qpos·로봇 base setter (API 확인 완료)
2	navigate 스킬	N0 텔레포트 + `NavToObjTask` judge + 텔레포트 시 arm home
3	abstain 매핑	distractor 질의 → VLM "없으면 abort(not_present)" 규칙 (기권도 정답 — 공리 A5)
4	dataset 프로필	3캠 640×480@25 → VLA wrist+exo1 letterbox / horizon 1500 / policy_dt 40ms
5	room 매핑 검증	`answers.room`(정수) ↔ infer_room_name ↔ uid 접미사(초기 방 추정) 3자 대조
6	(장기) mobile 정책	11-dim FT 트랙 — 데이터셋 학습 셋 확보 시