Real-Time EXPO-FT 적용 검토

TL;DR

π0.5가 후보 chunk 32개를 비동기로 만들고, 작은 edit policy가 최신 관측으로 잔차를 더한 뒤, Q 앙상블 argmax로 고른다. 온라인 RL 10분, 실물 4과제 평균 12.5/30 → 29/30.
그대로 채택은 비추천: 가중치 업데이트, task별 reward detector, 사람 reset이 필요해 Goal과 충돌한다. 핵심 기여인 지연 보정은 시뮬 준정적 삽입과 무관하다. 학습이 10 ep 후에야 시작해 K≤5 인스턴스 적응은 불가능하다.
가져올 부품: 후보 N개 + 가치 선택(접촉 단계 모드 불안정 대응), 히스토리 조건부 critic, noise 공간 critic, 가중치 업데이트 baseline.

29/30

실물 평균 (SFT 12.5)

10분

온라인 데이터 상한

~17pp

우리 선택 여지 (CSR@5 88 vs 70.5)

1 세팅

base: π0.5 LoRA (H=16), training-time RTC (지연 d개 action을 clean prefix로 inpaint) 후보: N=32 chunk (VLM prefix 공유, 10 Euler step) edit: tanh-Gaussian MLP 3x256, critic ResNet 인코더 공유, bounded 잔차 선택: base 32 + edited 32 중 REDQ(10개 중 2개 min) Q argmax 학습: π0.5 RTC BC + edit max-Q + chunk TD, base:critic 업데이트 1:20 reward: rule-based 이진 success detector, 사람 reset, 10 ep 후 학습 시작

2 결과

과제 (x/30)	SFT	DSRL+RTC	EXPO-FT+RTC	Ours
Dynamic Picking	19	25	24	30
Ball Balancing	8	15	23	28
Object Passing	10	23	27	30
Soccer Kicking	13	17	26	28

Kinetix 10과제 (d=4): 96.2% (EXPO-FT+RTC 81.7%, 지연 없는 RLPD 81.4%).

3 Takeaway

메인 세팅으로는 부적합. 가져오는 순간 "WAM에 off-policy RL"이 되어 붐비는 영역(EXPO-FT, DSRL, RL Token, πRL)으로 들어간다.

후보 + 선택 구조는 우리 진단 결과와 정확히 맞물린다. 같은 장면 seed 반복 CSR@5 88% vs seed당 70.5%. 성공 모드가 이미 샘플 분포 안에 있다는 뜻이다. critic을 회복 데이터(시도별 안착 거리)로 오프라인 학습하고 이전 시도 latent를 조건으로 주면 "가중치 고정 + 히스토리 조건 선택"이 된다.

4 Next

oracle best-of-N 상한: 접촉 직전 decision에서 seed N개 중 성공을 고를 수 있으면 SR이 얼마나 오르는지 (RoboCasa365 진단 데이터 / one_leg).

EXPO-FT 코드(pd-perry/expo-ft)로 pi0.5 FurnitureBench baseline 비용 추정. 같은 에피소드 예산에서 비교.

Real-Time EXPO-FT (2609.18207): RoboTTA로 가져올까?

TL;DR

1 세팅

2 결과

3 Takeaway

4 Next