memer

Robot manipulation — policy learning & benchmark

56 reports 8 weeks

260601 — 260607 1 report · 3 tables 1

scene-mem API eval — 종합 결과

zero-shot Gemini-2.5-flash를 scene-mem-benchmark에 측정. 충실도 갭 2개(텍스트 누적, 스텝별 task)를 보정해 가니 \1는 transcript 스크롤백 인플레, \1 (실제 회상 능력 사실상 없음). 메모리 FIFO가 초반 배치 키프레임을 한 번도 보존 못 함이 영상으로 입증.

260525 — 260531 2 reports · 3 tables 2

gt_score 영상 뷰어 보강 — 스텝별 현재-task + 회상질의 마커 v2

gt_score 영상 렌더러에 스텝별 \1 표시 + 최종 스텝 빨강 \1 마커 추가. per_segment_instruction 자동감지, *_perseg_v2.mp4 × 2 생성 확인(8806f @20fps, ~19MB).

scene-mem v2 B1 — held-out val subtask accuracy

MemER scene-mem v2 LoRA, held-out val: final-query 0.0% (0/30); true compressed-memory recall (chunked) 0.0%

260518 — 260524 14 reports · 26 tables 14

Defect-14/15 — emit target_fine_idx 어긋남 fix + defect-15 문서화 — memer

Sub-project A 종료 직후 사용자 검증: target_fine_idx 8.2%(617/7503) 어긋남 적발(defect-14). emit이 door 삽입 후 인덱스 미보정이 원인. 전수 17955 target seg 0 mismatch fix + HF 재push(228dc0b). defect-15(빌더 keyframe push 인덱스)는 후속 사이클로 pytest.skip 문서화.

API Zero-Shot Gemini B1 — 3계약 비교: trainstruct 인플레 vs 키프레임-FIFO 실체 — memer

Letsur gemini-2.5-flash B1 eval 3계약 비교(n=2). trainstruct 50%(1/2)는 전체 대화 transcript 스크롤백 아티팩트. 키프레임-FIFO(MemER 충실) 0/2, +perseg(최충실) 0/2. smoke 3단계로 128tok 절단→형식발산→형식어댑터 순 진단. zero-shot Gemini는 조기 배치 키프레임 보존 실패.

Sub-Project A 종료 — 병합 + HARD STOP + Option B + HF Push — memer

oracle→canonical 로컬 병합 후 defect-13(emit_fine_subtasks door-grounding 누락) A3 gate 차단. task_subtasks.json oracle 교체 = 재현성 계약 위반 HARD STOP. Option B: baseline 복원 + oracle 별도파일. HF additive push commit 7676aa4b(fine_subtasks 858+manifest). 221 tests passed. Sub-project A 종료.

B1 Oracle vs Baseline Side-by-side — 88.36%→89.42% (+1.06pp) — memer

defect-12(per-turn assert가 m1 차단) fix + 8-GPU bash sharding eval. baseline 88.36%(167/189) 정확 재현(코드경로 동일성 확정). oracle 89.42%(169/189, +1.06pp, +2 scenario). 개선 본질=데이터 물리 정확(1946/2604 Open grounding), delta modest.

Defect-9/10/11 Resolver Fix — 858/858 FULL PASS + Oracle LoRA 학습 — memer

resolver _try_build doorless/non-target rds 억제 TDD 구현(ef0fcd5). defect-11(doorless over-skip) 포함 3결함 동시 해소. job 5475 kept 858/858(baseline parity), §9-2 1946/2604(75%) grounded Open = 영상 버그 수정 입증. oracle LoRA eval_loss 0.0087 학습 완료.

scene-mem v2 B1 — held-out val subtask accuracy

MemER scene-mem v2 LoRA, held-out val: final-query 0.0% (0/2); true compressed-memory recall (chunked) 0.0%

Oracle V3 — All-Scene-Fixtures Coverage + Manifest-Gap Routing + Task 5b Build Prep — memer

Oracle V3: env.fixture_refs → env.fixtures 전체 커버 + 클래스→canonical noun map + multi-instance no-guess + target_doors(eval_spec joint qpos) + manifest-coverage routing. 438 passed, 858-scenario build prep(task_subtasks_oracle.json 30 rds) 완료, job 5207 제출.

병렬 Init-State Oracle Driver — Preempt-Resilient, NAS Checkpoint — memer

6h44m 손실 사고 후 preempt-resilient 병렬 oracle driver 구현: spawn context + NAS append-only checkpoint + resume. W=28 외삽 ~15min (순차 5-6h 대비 10-20x). 5/5 unit test + 8/8 real smoke PASS.

C2 Door Regrounding — 분해 파이프라인 배선 + P1/P2 정확성 수정 — memer

C2 DoorStateMachine을 분해 파이프라인에 TDD로 배선(ec635f1) + P1 baked door step 중복 emit 제거 + P2 before:open 정적 gate 완전 철거(0709aba). 421 passed, baseline byte-identical, 19 composite task grounding 대상 확정.

Defect-9/A2/Defect-10 — 858 Full Build Crisis + A2 잘못된 Fix 판명 — memer

858 full build BLOCKED (kept 577/858, skip_res 281, FoodCleanup 129+SortingCleanup 152). A2 fix 적용 → defect-10: ground-truth spot-check로 RestockBowls TARGET cabinet door step 완전 소멸 적발. A2 revert + resolver \1 target_doors 면제 일관 적용이 올바른 fix.

scene-mem Sub-project A — V3B acceptance 게이트

scene-mem Sub-project A 8차 결함 종료: multi-instance cabinet TARGET을 \1 eval_spec joint으로 grounding → 80-scenario kept 4/60 → 80/80, door step ground-truth 3/3 PASS (orchestrator 독립검증)

scene-mem v2 데이터 파이프라인 완성 — §7 fallback·LLM 방어·Full Build — memer

scene-mem v2 데이터 파이프라인 완성 — §7 composite fallback으로 162→858 scenario (5.3x), LLM 게이트가 27 초안 전부 가비지로 차단(0/17 머지), full build 95.7% fine/0% garbage (V1 7%→0%), eval_loss 0.0066, HF push 완료.

B1 Eval 최종 분석 — scene-mem v2 LoRA 88.4%, eval 교정 5-defect saga — memer

scene-mem v2 LoRA B1 offline eval 최종: m1 final-query 88.4% (167/189), chunked memory recall 97.2%, notchunked 77.1% (tier3b 17%→+60pp). eval contract 5회 교정 saga — teacher-forced/OOD-camera/continuous-rollout 등 3개 buggy eval 취소 후 builder-structure autoregressive 확정.

scene-mem v2 데이터 정확화(Sub-project A) — 설계·구현계획

사용자가 B1 영상에서 본 '빠진 동작/타이밍 어긋남' 근본원인 = V2 분해가 에피소드 실제 초기상태에 비-grounding. Sub-project A 설계+TDD 구현계획 완료: robocasa-main env로 초기 door 상태 측정 → 단일 양방향 per-door 상태기계로 재grounding. 별도 트리, HF/baseline 불변, B1 side-by-side 입증 후에만 병합.

260511 — 260517 23 reports · 82 tables 23

B1 eval visual viewer — scene-mem v2 MemER (held-out val)

B1 trainstruct eval visual viewer: 14 curated annotated MP4s (camera stack the model saw + per-turn GT vs prediction) + per-turn tables. m1 final-query 88.4% (167/189), chunked (true compressed-memory recall) 97.2%.

scene-mem v2 B1 — held-out val subtask accuracy

MemER scene-mem v2 LoRA, held-out val: final-query 0.57% (1/174); true compressed-memory recall (chunked) 0.99%

Tier-3b — true bounded-memory recall (CHUNKED 100%) vs Tier-3a long-context bypass

Tier-3b (true bounded-FIFO memory) \1 — 진짜 압축-memory recall은 완벽. overall \1는 memory 한계가 아니라 \1가 instruction 64%를 못 잡는 데이터 커버리지 버그. Tier-3a \1는 long-context bypass.

Tier-2/3 폐기 후 scene-mem-only single-stage 빌더 후속

scene-mem v1 — 858 Full Build 완료 + 무결성 검증

scene-mem v1 빌더 858 full build 완료 — train 2604 / val 189, 무결성 게이트 3종(\1/\1/\1) 전부 0, SHIP-READY

Tier-2 multi-turn builder + LoRA 학습 완료 — memer

subtasks.json(858 scenario segment-level supervision) 활용해 Tier-2 multi-turn builder(420L) 작성. 2,793 sample 빌드 후 LoRA 258steps 학습(1h6m) — eval_loss 0.00171(Tier-1 V2 대비 6.5x↓). cascade combo_002 fixture accuracy 0/3→1/3. 30-scenario sweep(Job 2773) PENDING.

RoboCasa assets 복구 + scene-mem env 완성 + cascade stub 검증 — memer

nvidia HF objects_lightwheel.zip 404 → robocasa main branch + utexas Box로 우회 (~10GB 다운). robocasa-main env 격리 + robosuite master editable로 compat fix. scene-mem env 3차 시도 끝 성공. cascade stub(PI05_STUB=1) 3×1500-step rollout OK.

LoRA V2 학습 + Cascade Adapter 구현 — memer

LoRA V1 echo bug(trivial copy) 발견 → derive_task_goal V2로 수정 → 5회 재시도 끝 4m49s 학습 성공. eval_loss=0.0111, token_acc=0.998. RoboCasa atomic format 출력 확인. cascade adapter 3-venv IPC(~550L) 작성 + ping OK.

Pi0.5 Checkpoint 아키텍처 분석 + Cascade Adapter 설계 — memer

Pi0.5-RoboCasa ckpt 내부 분석: PaliGemma-3B + two-pathway action expert (~3.5B), action 32-dim 중 11-dim active (PandaOmron: arm 6 + gripper 1 + base 3 + torso 1), orbax/JAX 포맷 → openpi 로드. MemerPi05Policy 어댑터 골격 + 5개 검증 체크리스트 작성. 전체 평가 비용 257 scenario × 11분 = 47h sequential.

Segments-aware adapter sanity — 전체 프로세스 + 결과

HF dataset 04:51 UTC 업데이트로 받은 phase timing(\1)을 plug-in해 segments-aware adapter sanity 완료(303.7s, 312 calls). 3개 측정 항목 — vocab leakage, keyframe diversity, fixture noun — 모두 dusting MemER의 한계가 모델-bound임을 확정. Vocab leakage는 -10%p 미미 개선, keyframe diversity는 3→1 collapse(회귀), fixture noun 0/3 변화 없음. → LoRA V2가 유일한 해결책.

MemER probe on scene-mem-benchmark — combo_002 ep0006

MemER (dusting ckpt) probe on \1 combo_002_L29_S48_0006: object recognition OK (steak/bowl/fish 정확), vocabulary는 dusting에 lock-in, keyframe selection은 instruction-blind. VLA-less probe — Pi0.5 통합 전 prompt-level vocab enforcement 필요.

probe 결과(vocab lock-in + keyframe instruction-blind)를 받아 작성한 통합 plan

Pi0.5 + MemER LoRA 통합 plan — scene-mem-benchmark

Pi0.5-RoboCasa + MemER LoRA cascade로 \1의 \1 측정 + dusting vocab lock-in 해결 계획. 핵심 발견 = 자매 repo \1에 거의 모든 인프라 이미 존재 (Pi0.5 IPC 서버, ms-swift LoRA 학습, eval driver, src/openpi local copy). 우리가 새로 짤 것 = RoboCasa 데이터 빌더 + scene-mem 어댑터 2개만.

Pi0.5+MemER integration plan의 Tier-2 학습 결과

Tier-2 LoRA fixture accuracy — partial 30-sample cascade

Tier-2 LoRA (multi-turn + memory-aware) \1 (10 scenario / 29 test). Tier-1 V2 \1 대비 +12%p. RestockBowls/cabinet 89%, OvenBroilFish/oven 0%, dishwasher 0% — rare-fixture cabinet bias 확인.

Tier-2의 GT leak 문제 해결한 Tier-3a 후속

Tier-3a 2-turn no-leak training — fixture accuracy 97.9%

Tier-3a (no-leak 2-turn) \1 on 30-scenario sweep. Tier-2 GT-leak baseline \1 → +53.1%p. Rare fixtures (oven/freezer/dishwasher) 모두 \1로 회복.

plan의 P0 액션 실행 (#3, #4, #5, #11, #12)

RoboCasa Tier-1 데이터 빌더 + 학습 entry 작성

Tier-1 RoboCasa LoRA 데이터 빌더 (\1 280L) + LoRA 학습 entry (\1 50L) 작성. 자매 repo \1 인프라 100% 재사용. Smoke test (ep 0) 통과 — RoboCasa atomic 어휘 \1 정확히 emit. 2-ep subset (410 ep, 118K frame, ~5.8GB) 다운로드 진행 중.

Tier-1 셋업 후 후속 작업 순서를 다음 세션이 그대로 이어받을 수 있게 정리

다음 세션 Runbook — Tier-1 LoRA 후속

다음 세션 runbook — Job 2448 (LoRA 학습) 끝나면 (P1) ckpt 위치 → (P2) \1 → (P3) combo_002 probe로 vocab sanity → (P4) 3-venv cascade adapter MVP. copy-paste 명령 + 5가지 검증 항목 + 파일 위치 표.

probe 결과 시각화 (비디오 임베드)

MemER probe 시각화 — combo_002 3 tests

MemER probe 시각화 — combo_002_L29_S48_0006 3 test의 prior video, GT, MemER 예측, 메모리 FIFO를 한 페이지에 임베드 (mp4 + 표 + 매칭 verdict). Object recognition ✅ / Fixture noun ❌ 패턴 시각적으로 확인.

BUS SAM2 — cube-seed 폐기 & container-from-appearance 재설계 — memer

Job 1804 (v7) SR 0/20 — viz 분석으로 SAM2 cube-from-t=0 가설 폐기 확인. complete occlusion시 mask collapse가 실측됨. container-from-appearance(white-blob 검출)로 재설계 + solid viz alpha-blend 수정 + button-2-first default 고정. 56/56 tests pass, job 1808 제출.

ApiMem Hybrid BinFill 4-frame + Pro 비용 분석 — SR 22% 달성, multi-frame이 진짜 병목 — memer

Hybrid 4f (flash-lite + LoRA coord) BinFill 50ep SR 22%(11/50). 1f 12% 대비 +10pp, 처음으로 LoRA-only 실패 ep 2개 해결. Pro 4f는 $0.32/ep로 flash-lite 대비 23x 비용, 7ep 취소. multi-frame context가 ApiMem의 진짜 병목이었음.

ApiMem Tool-Calling + CoTracker3 Visual Memory 설계 — VideoUnmaskSwap — memer

VideoUnmaskSwap shell-game의 static-frame-blindness 공략: annotate_objects / track_objects(CoTracker3) / save_keyframe 세 visual tool을 ApiMem에 붙여 멀티-턴 agent로 전환. P0-P5 단계 로드맵, 첫 sweep 목표 VideoUnmaskSwap 50 ep.

설계 문서의 P2-P4.1 구현 결과

ApiMem Tools v1 — P2-P4.1 구현 완료

ApiMem multi-turn tool-calling (annotate/track/save_keyframe) P2-P4.1 구현 완료 — 17 commits, 8/8 unit tests pass, VideoUnmaskSwap 50ep sweep 제출 대기

tool-calling agent 실패 후 BUS 전용 pivot 구현

BUS Task-Specific Pipeline — 코드 오케스트레이션 Stages 1-8 구현 — memer

ApiMem tool-calling agent SR=0(BUS) 실패 → code-orchestrated BUS pipeline으로 pivot. SAM2+GroundingDINO 로컬 비전, LLM은 discrete selector만. stages 1-8 구현 + 4 fix 완료, 10-ep sweep 대기.

CoTracker3 P0 Sanity Script 구현 — memer

CoTracker3 P0 sanity: robomme ApiMem ep step_*.png 시퀀스에서 5×5 grid bbox tracking 검증 스크립트 완성. 3회 commit으로 argv(bbox+output path) 추가·min_frame=20으로 refinement. P1 tracker.py 구현 진행 게이트 통과.

ApiMem frames_per_call — 멀티-프레임 컨텍스트 구현 — memer

ApiMem 추론 호출에 단일 프레임 대신 N-프레임 컨텍스트 전달 기능 추가 (frames_per_call). default=1로 기존 동작 보존, HybridApiMemLoRACoordPredictor 동일 적용.

260504 — 260510 4 reports · 14 tables 4

Hybrid πHL BinFill 결과: SR 12% — coord 부분 기여, wording/timing이 주 병목 — memer

Hybrid(flash-lite + LoRA coord swap) BinFill 50ep SR 12.0%(6/50). baseline 8% 대비 +4pp. 46.9% tick에서 coord swap 성공했으나 LoRA 64%와 52pp 격차 유지 → coord 부분 기여, wording/timing이 주 병목

Hybrid πHL: ApiMem mt + LoRA Coord Swap — 설계 & 첫 Job 제출 — memer

Coord precision 가설(b) isolation용 HybridApiMemLoRACoordPredictor 설계·구현. ApiMem이 mt/의도 담당, LoRA가 좌표 담당. verb+obj Jaccard≥0.5 매칭 시 좌표 swap. Job 9951 제출 → FAILED(2m13s), 재제출 필요.

ApiMem 모듈 구현 완성 & 인프라 Gotchas — memer

api_mem/ 모듈(ApiMemModel, 2-step detection+reasoning) 구현 완성. LetSur thinking_config 무시·pro max_tokens≥4096 필수·Vulkan 27ep leak 자동 회복 등 8-run에서 발견한 핵심 인프라 트랩 정리.

ApiMem × BinFill 8-run 종합 분석 — detection bottleneck 아님, pi0.5 alignment 문제 — memer

ApiMem BinFill 8-run 종합: flash-lite/pro × 1-call/2-step × bbox 모든 조합이 4~17% noise 범위. Pipeline robustify 완료(0 error/parse/loop)해도 SR 불변 → detection이 bottleneck 아님. 남은 ~56pp 격차는 pi0.5 wording/coord alignment 문제로 진단. BinFill 포기, PatternLock으로 전환 권장.

260427 — 260503 10 reports · 27 tables 10

ApiMem zero-shot πHL — BinFill flash-lite baseline (50 ep) — memer

[260430/research-pi_mem_text_summary_adaptation.md](../260430/research-pi_mem_text_summary_adaptation.md)

RoboMME Closed-loop Full Sweep — MemER LoRA × symbolic-grounded-subgoal VLA — memer

260428 에 BinFill ep0 1 episode closed-loop 동작 확인 후 (10 min, 1 success), 다음 단계로 16 task × 50 episodes = 800 episodes 풀 sweep 으로 확장. 목표: MemER (high-level VLM) + MME-VLA (low-level pi0.5) 파이프라인의 task-le…

PI MEM (Multi-Scale Embodied Memory) → RoboMME zero-shot API 적용 분석 — memer

> 본 문서는 PI Mem 논문(https://www.pi.website/download/Mem.pdf, Torne et al., 2025)을 정독한 뒤,

PI Mem-style zero-shot API πHL 구현 계획 (`api_mem` module) — memer

> 본 문서는 [research-pi_mem_text_summary_adaptation.md](research-pi_mem_text_summary_adaptation.md)

Handoff — Closed-loop sim env READY, 다음 세션 바로 실행 진행 — memer

> 이 파일을 다음 세션 시작 시 먼저 읽어주세요. 어디까지 됐고 / 다음에

BinFill ep0 Closed-loop — MemER LoRA × symbolic-grounded-subgoal VLA — memer

VLM-only Phase 0–3 (260427) 에서 MemER LoRA (`Yinpei/vlm_subgoal_predictor /

RoboMME on B200 Cluster — Full Setup & Gotchas — memer

> 이 문서는 B200 cluster (NVIDIA driver 580, Open Kernel Module, Ubuntu 22.04, glibc 2.35)

Notes — MemER prompt-format diff: this repo vs Anthropic MemER (sister repo) — memer

> Phase-0 결과물. 이 비교가 전체 방향(Path A vs Path B)을 결정함.

Plan — Run RoboMME-trained MemER LoRA on RoboMME (VLM-only inference + viz) — memer

Sister repo ~/repos/Robotics/memer/ 에서 공식 Anthropic MemER 의

Exp — RoboMME-trained MemER LoRA on BinFill ep0 (VLM-only inference) — memer

Sister repo (~/repos/Robotics/memer/) 에서 공식 Anthropic MemER dusting

260420 — 260426 1 report · 3 tables 1

MemER 공개 체크포인트로 RoboMME BinFill ep0 inference 돌리기 — memer

- MemER 공식 레포는 "high-level VLM" 만 공개됨. VLA/시뮬레이터 없이도 VLM이 VLA에 넘길 subtask 문자열과 선택된 keyframe 인덱스만 뽑아보는 건 가능.

260413 — 260419 1 report 1

MemER 공식 레포 공개 범위 & 재현 가능성 감사 — memer

논문 ["MemER: Scaling Up Memory for Robot Control via Experience Retrieval"](https://arxiv.org/abs/2510.20328) (ICLR 2026, Sridhar et al.) 의 공식 레포를 받아왔다. 직접 돌려보거나 본인 태스크에 붙이기 전에 (1) 어디까지 코드가 공개돼 있고, (2)…

Auto-generated — python build_index.py — 2026-10-23 12:47