Long-WAM RoboCasa365 실패 분해: 갈림 시점, history 루프, 오버피팅, fresh noise

TL;DR

같은 장면 쌍 378개 중 실패 run 157개의 119개(76%)는 성공 run 종료 전까지 성공-성공 쌍 수준으로만 달라 → 마지막 접촉 동작(당기기·놓기·덮기)에서 mode 선택 실패
held-out layout/object target split 65.7% vs pretrain 69.6% → 오버피팅 근거 없음. 5 seed 전부 실패한 20 ep는 15 seed 추가 시 8개(4.4%)만 끝까지 0
stock은 decision마다 같은 policy_seed로 noise 재샘플. decision별 fresh noise만으로 SR 69.9→74.5%, CSR@3 86.2 vs 85.0(불변) → 재시도 baseline은 fresh noise로

76%

마지막 단계에서 갈리는 실패 run

65.7 / 69.6%

target / pretrain SR

+4.6%p

fresh noise SR

8/180

20 seed 후에도 0인 ep

1배경/목적 (왜)

이전 카드(261015)는 실패 65개 중 계획 오류 77%, oracle future 60%로 video expert(planner)가 병목임을 보였다. 계획 오류가 왜 생기는지 좁히는 후속 분석이다.
질문: (1) 같은 장면에서 성공/실패 seed는 언제 갈라지는가(접촉 직전 결정 불안정 가설) (2) 오버피팅인가 (3) history가 짧아 시도를 반복하는 루프인가 (4) 개선 가능한 실패인가(noise 고착 vs 능력 부족).

2작업 내용 (어떻게)

갈림 시점 tmp/divergence.py: 1–4회 성공 ep의 (실패, 성공) seed 쌍에서 decision k의 현재 관측 latent(clean_latents[k][:, -1]) MSE. 기준선 = 성공-성공 쌍의 decision별 q90, 2 decision 연속 초과 시 갈림.
초기 상태 확인 tmp/init_check.py: 5 seed의 첫 frame 비교.
오버피팅: robocasa split=target(layout/style 1~10 + held-out 물체)으로 atomic_seen × ep 0-9 × seed 42/43/44 (195580~195582 재제출).
history 확인: 체크포인트 past_obs_size=48(20Hz 약 2.4초 → clean latent 4개), arwam_local_attn_size=-1, arwam_sink_size=0. "sink"는 local attention 꺼진 상태에서 효과가 없는 mask 옵션이라 "sink 켜고 추론" 실험은 무의미하여 실행하지 않음.
루프 분석 tmp/loop_analysis.py: 5Hz 40×32 gray 화면을 상태 대리 지표로, 64 step 이상 전 상태와 거리 <0.047(THR)이며 그 사이 ≥0.127(AWAY) 멀어졌다 돌아오면 재방문.
fresh noise / fresh env: diag_server.py --fresh-noise(decision별 seed = sha256(policy_seed:episode_id:step)의 앞 4바이트), diag_sim.py --fresh-env(ep마다 env 재생성), diag_eval.sh에 FRESH_NOISE/FRESH_ENV/ONLY. (A) 180 ep × seed 42/43/44 (195993~5, s44는 196374로 완료), (B) 0/5 ep 20개 × seed 47~61 (195996~8, af56은 196375).

3결과 (수치)

1. 초기 상태 불일치 발견

180개 중 13개(7%)에서 seed마다 첫 장면이 다름(reset_seed/prompt 동일). PickPlaceSinkToCounter 6/10, NavigateKitchen 2, OpenStandMixerHead 2. 재개(resume) 여부와 무관 — 앞 episode 이력에 의존.
불일치 13개 제외(167개): SR 70.5%, CSR@5 88.0%, 0/5 ep 20개 → 결론 불변. oracle 실험도 45개 중 3개 제외 시 oracle 23/42(55%), foreign 5/42(12%), static 0/42.

2. 갈림 시점 (같은 장면 쌍 378개, 실패 run 157개)

실패 run 157개 중 119개(76%)는 성공 run 종료 시점까지 성공-성공 쌍 수준 차이만 → 마지막 단계에서 갈림.
쌍 단위: 갈림 없음 285 / 초반(<0.3) 51 / 중간 30 / 후반 12. 초반 갈림은 NavigateKitchen(경로 선택), PickPlaceDrawerToCounter(접근, median frac 0.09)에 집중.
직접 확인: OpenDrawer e9(같은 위치에서 성공 run은 서랍을 열고 실패 run은 손잡이 앞에서 정지), CloseBlenderLid e6(t263까지 동일, 이후 실패 run은 전자레인지로 이동).

3. 오버피팅 검사 / history 루프

지표	실패	성공
target split SR (최종 114/118/123 of 180)	평균 65.7%	pretrain 69.6%
재방문 1회 이상 run	26%	8%
길이 맞춤 후 재방문	11%	8%
재방문 상태 시간 비율	5.1%	0.4%
48 step 정체 시간	11.6% (마지막 240 step 15.9%)	3.5%

재방문 주기 중앙값 236 step = 기억 범위 48 step의 약 5배. 재방문 많은 태스크: PickPlaceSinkToCounter 32%, TurnOnMicrowave 17%, PickPlaceDrawerToCounter 14%(regrasp 루프).

4. fresh noise (clean 167 기준) 와 항상 실패 20개 probe

seed	stock	fresh
42	64.1%	73.1%
43	67.1%	74.9%
44	78.4%	75.4%
평균	69.9%	74.5% (+4.6%p)

seed 간 분산 64~78% → 73~75%. 3 seed 모두 성공한 ep 비율 50.9% → 64.7%. CSR@3 86.2% vs 85.0%.
오른 태스크: CloseFridge +6, PickPlaceDrawerToCounter +6, PickPlaceCounterToStove +5, TurnOnSinkFaucet +4, TurnOffStove +4. 떨어진 태스크: CoffeeSetupMug 17 → 6 (원인 미확인). 이를 빼면 70.7 → 77.9%.

20 ep × 15 seed 중 성공 횟수	0	1	2	3	4	6	8
episode 수	8	6	1	1	2	1	1

최다 성공: PickPlaceCounterToStove:3 8/15, CoffeeSetupMug:6 6/15. 0/15: CloseBlenderLid:2,:4,:9, CoffeeSetupMug:8, NavigateKitchen:1,:7, PickPlaceCounterToCabinet:1, PickPlaceToasterToCounter:7.

4Takeaway

계획 오류의 주된 형태는 "목표 앞까지는 성공 run과 같게 가고 마지막 접촉 동작을 그리지 못함"(76%). 같은 장면에서 다른 seed가 성공하므로 능력 부족이 아니라 그 순간의 mode 선택 문제다.

오버피팅 아님(target 65.7 vs 69.6%). 20 seed에서도 0인 ep는 8/180=4.4%뿐이라 나머지 실패는 확률이 낮은 성공이다.

history 루프는 실패의 일부만 설명(길이 맞춤 11% vs 8%). history를 늘리기만 해서 얻는 이득은 제한적일 것으로 예상. 주 형태는 목표 앞 정체/작은 배회.

재시도 baseline 공정성: stock은 episode 내내 같은 noise를 써서 memoryless 재시도 이득 일부를 decision별 noise가 이미 가져간다(+4.6%p, CSR@3 불변). Zeva류 재시도 비교의 baseline은 fresh noise로 잡아야 한다.

5Next Steps

한계: 프레임 latent MSE와 40×32 gray는 거친 지표라 그리퍼 위치 같은 작은 차이와 2.4초 내 진동을 못 잡는다.
다음: CoffeeSetupMug가 fresh noise에서 17 → 6으로 떨어진 원인(영상 비교), 0/15 ep 8개 영상 확인.
다음: 갈림 직전 decision에서 seed를 여러 개 샘플링해 접촉 동작이 나오는 비율 측정(예측 영상 분포).
이후 실험은 ep마다 env 재생성 또는 첫 frame 일치 검증으로 "같은 초기 상태"를 보장.