TL;DR
- 반복성: SR 63.9~77.8%(평균 70.9), CSR@5 88.9%. 성공 0회 episode 20개 vs 태스크 내 iid 기대 6.6
- 원인 분류(seed 42 실패 65개): plan_error 50(77%), exec_error 10 — 예측 PRED≈REAL, 계획 자체가 틀림
- future 교체(seed 42 실패 ep): oracle 18/30(60%), foreign 1/25(4%), static 1/52(2%) → action expert는 future를 실제로 사용
1 배경/목적
history-conditioned 재시도(Zeva 비교) 설계 전에 (1) 실패가 video expert 예측 오류인지 action expert/IDM 실행 오류인지, (2) 같은 초기 상태에서 반복되는지, (3) memoryless 재시도 baseline(CSR@k)이 얼마인지 확인. RoboTwin 94.4%, LIBERO-Long 99.5%는 실패가 적어 RoboCasa365 사용.
2 작업 내용
체크포인트: 공개 Efficient-Large-Model/Long-WAM-RoboCasa365 (rev b0061fb, 12.0 GB, 학습 없음)
imagine frames 2, sigma 0.9, infer steps 4, history P48, chunk/replan 32
범위: atomic_seen 18 task × episode 0-9 = 180, env_seed 7, policy_seed 42~46 (시뮬 결정론 확인: 재실행 차이 0)
scripts/robocasa365/: diag_server.py (_imagine_future_latents hook, --full-denoise, --future-mode oracle|static),
diag_sim.py, diag_eval.sh, make_oracle_map.py (--foreign), analyze_diag.py (metrics/sheet)
실험 3(반복성) → 1(실패 분류: contact sheet + 서브에이전트 4개 시각 라벨) → 2(future 교체: oracle/foreign/static)
대조군 추가 이유: sigma 0.9에서 future 신호 10%뿐 → action expert가 future 무시하면 oracle 무효과를 IDM 문제로 오독
버그: oracle map npz 상대경로 → 서버 cd 후 FileNotFoundError (sacct는 COMPLETED) → 절대경로화(192813~192815 재제출). extra QOS 선점 다수, resume으로 완료.
3 결과
| s42 | s43 | s44 | s45 | s46 | 평균 |
|---|
| SR (%) | 63.9 | 67.2 | 77.8 | 72.8 | 72.8 | 70.9 |
| CSR@1 | @2 | @3 | @4 | @5 |
|---|
| % | 70.9 | 81.9 | 85.8 | 87.7 | 88.9 |
| 성공 횟수 | 0 | 1 | 2 | 3 | 4 | 5 |
|---|
| 관측 | 20 | 11 | 11 | 26 | 33 | 79 |
| 태스크 내 iid | 6.6 | 11.8 | 19.9 | 34.8 | 52.4 | 54.5 |
| 전역 iid | 0.4 | 4.6 | 22.3 | 54.3 | 66.2 | 32.2 |
실패 시도 262번 중 100번(38%)이 0/5 episode 20개에서 발생. CloseBlenderLid SR 14%(10개 중 7개 0/5), TurnOffStove 36%, CoffeeSetupMug 46%, NavigateKitchen 54%; OpenDrawer 96%, SlideDishwasherRack 94%.
실험 1: 실패 65개 분류 (seed 42)
| 유형 | plan | exec | 기타 |
|---|
| 0/5 (20) | 15 | 4 | 1 |
| 1~4회 성공 (45) | 35 | 6 | 4 |
plan_error 50(77%; 신뢰도 high 5/med 26/low 19), exec_error 10(7개 PickPlace grasp miss), unclear 3, mixed 1, sim_anomaly 1(TurnOnMicrowave e3 제외). MSE(s0, real)/MSE(정지, real) 중앙값 성공 0.30 vs 실패 0.43.
실험 2: future 교체 (중간 결과, seed 42 실패 ep → model 모드 성공률 정의상 0%)
| 모드 | 성공 |
|---|
| oracle | 18/30 (60%) |
| foreign | 1/25 (4%) |
| static | 1/52 (2%) |
4 Takeaway
oracle 60% vs foreign/static 2~4%: action expert가 future latent를 실제로 쓰고, 올바른 future를 주면 실패의 상당수가 회복된다 → 병목은 video expert 계획.
memoryless 재시도 +18pt(70.9→88.9@5)는 대부분 확률 누적(@2에서 +11pt). 상한은 0/5 ep 20개(11.1%)가 막으며, history-conditioned 재시도가 이를 넘으려면 이 체계적 실패 집합을 풀어야 한다. seed 간 SR 편차 14pt → 단일 seed 비교 신뢰 불가.
5 Next
- 실험 2 잔여(192813~192815) 완료 후 oracle 성공률 확정. 한계: oracle source는 다른 seed 성공 rollout이 있는 45개뿐, 0/5 ep 20개는 source 없음
- exec_error 신뢰도 low 7개 재라벨, 0/5와 무작위 실패 분리 분석
- "Atomic5" 정의와 Atomic-Seen 67.9% 출처 확인 (repo/모델 카드에 없음)