Daily Progress — 2026-09-03

오늘의 우선순위

MolmoBot — goal 조건화 closed-loop 검증 결론 확정("무변화"), 원인 규명 진단 2잡 RUNNING. goal 학습(job 107382, own 8GPU, 7h30m, 어제 20:18 → 오늘 03:48)이 완주된 뒤 hand-off place 벤치 전체 배터리를 돌렸다. 공통 117편 기준 mix20k 23.1% / place10k 22.2% / placegoal10k off 22.2% / on 23.9%(McNemar p≈0.86 — 전부 노이즈 범위), 142편 기준 mix20k vs place10k는 17:17 완전 동률. 반면 val open-loop에서는 goal on이 L1 −22%(0.0898→0.0720) 개선을 보여 "학습 분포에서는 goal을 읽지만 sim closed-loop엔 반영 안 됨"이라는 구조적 괴리가 이번 조사의 핵심 결론이다. goal 기하 갭 가설은 crop 프로브(job 107743)로 대부분 기각됐고, 지금은 원인 후보 두 가지를 diagnostic job으로 검증 중이다 — ho_goal_wrong(107752, 틀린 goal 주입)·ho_goal_late(107753, goal 프레임 30스텝 지연), 둘 다 현재 RUNNING(45분/40분 경과).
flex-pi — 리더보드 프로토콜 5-group 중 4개 완료, 마지막 1개는 preempt 5회 겪고 6번째 시도 RUNNING. 체크포인트 선택 sweep이 9k/10k/10.96k 동률(67.8/68.0/67.8)로 나와 step_010960을 확정한 뒤, RoboTwin 2.0 공식 리더보드 프로토콜(50 task × clean/random × 100ep, extra 2GPU × 5그룹, sbmr 재시도)을 착수했다. g1(12h01m)·g2(9h29m)는 1차에 끝났고, g3·g5는 각각 5차·3차 재시도 끝에 7h30m 만에 완주했다. g4(job 107659)는 다섯 번의 preempt 뒤 여섯 번째 시도가 지금 RUNNING(5h07m+ 경과) — 이 그룹이 끝나야 리더보드 c2c/c2r 최종 5-group 집계가 가능하다. action-only regime 데이터포인트(107345, 2h38m)도 확보해 demo-scarce regime margin(P-C) 논거를 보강했다.
scene_bench — restore family 7모델 격자 완성 + 커밋, 쓰기 병목이 벤치의 핵심 결론으로 재확인. 커밋 e26b950(8 files, +616/−1)로 restore family 7모델 격자(bcaf2815, 322행, 메모리 재사용 읽기 전용)를 완성했다 — API 오라클 .91–.94 vs 최고 비오라클 flash-3.7 rf-v2 .443, 8B 오픈모델은 ≤.12에 그쳐 "읽기 접지"가 아니라 "쓰기 병목"이 병목임을 재확인. 병행해 find/restore 데이터 인스펙터(46검사 전수, 질의 프레임 가시 정답 141/645·156/433 확인 필요)와 OpenRAL 프레임워크 검토(통합 안 함 결정)를 마쳤다. 사용자 결정 대기 항목이 3건 누적(restore 본표 hidden 포함 여부, 질의 프레임 가시 처리, task grid Direct/Stateful 채택) — 병목은 이제 실험이 아니라 의사결정이다.

TL;DR

활동은 3개 프로젝트(MolmoBot, flex-pi, scene_bench)에 집중 — 커밋 1건(scene_bench), SLURM 84건(~282 GPU-h), 현재 RUNNING 3건. tau-0-wm·cosmos·X-WAM_MoT·scene_bench_paper는 이번 기간 무활동.
MolmoBot: goal image 조건화 학습 완주 → closed-loop hand-off 재측정 결과 Q1(place)·Q2(goal) 둘 다 "성공률 무변화" 확정(McNemar p≈0.86). val open-loop 대리지표가 closed-loop 성공률과 괴리된다는 게 어제 조사의 핵심 발견 — 원인 진단 2잡이 지금 돌고 있다.
flex-pi: 리더보드 clean/random 100ep 평가 4/5 그룹 완료, g4는 own quota 경합 없이도(extra qos) preempt 5회를 겪은 뒤 6번째로 재시도 중.
scene_bench: restore family 7모델 격자 완성 — 텍스트 메모리 오라클 .91–.94 vs 최고 비오라클 .443로 "쓰기 병목"이 이 벤치의 핵심 발견으로 재확인됐다. 이제 실험보다 사용자 결정 대기 항목이 병목.
own quota(8 GPU) 경합은 어제는 크지 않았다 — MolmoBot의 8GPU 학습(20:18~03:48)과 flex-pi 리더보드 잡(대부분 extra 2GPU)이 시간대·QOS로 갈려 충돌이 적었다.

프로젝트별 진행 상황

MolmoBot High

pi0.5 × MolmoSpace finetuning — goal 조건화 학습 완주, closed-loop hand-off 재측정으로 Q1/Q2 "무변화" 결론 확정

0Commits

3Docs

27SLURM Jobs

2RUNNING

어제 한 일

goal 학습 완주(job 107382, own 8GPU, 7h30m22s) — place10k와 init·step·혼합비·지시문 동일, goal(exo_camera_2, dropout 0.5)만 on. loss 0.0050. 버그로 3회 실패(107304 즉시취소, 107367/107368은 KeyError/IndexError로 8분 만에 조기종료) 끝에 성공.
closed-loop hand-off 재측정(107595-97, 107603) — hand-off place 벤치(NextTo HardBench 200편, expert가 preplace까지 → 정책은 "Place X next to Y"만 수행)로 mix20k/place10k/goal10k(on/off)를 전부 재평가. 공통 117편 기준 mix20k 23.1% / place10k 22.2% / off 22.2% / on 23.9%(McNemar p≈0.86), 142편 기준 mix20k vs place10k 17:17 완전 동률.
실패 분해: 놓기(released 97-100%)는 문제 없고 "어디에" 놓느냐가 병목 — 최종 표면거리 중앙값 0.17-0.24m, ≤10cm는 27-32%뿐. val open-loop(107598-600, 107603)는 goal on이 arm −23%/틀린 goal(shuffle) +50%로 goal을 확실히 읽는데, closed-loop엔 반영 안 됨.
goal 기하 갭(squash vs crop) 가설 프로브(107743, 45m) — 대부분 기각: crop goal val all 0.0768(on 0.0720/off 0.0898), 이득 73% 유지.
원인 규명 진단 2잡 제출·RUNNING: ho_goal_wrong(107752, 틀린 goal closed-loop)·ho_goal_late(107753, goal 프레임 30스텝 지연).

오늘 할 일

진단 2잡(107752/107753) 결과 확인 → val open-loop 대리지표가 closed-loop와 괴리되는 원인 규명.
NextTo 무변화 원인 규명(최우선) — 실패 rollout 영상을 파지 실패 vs 배치 위치 오류로 분류해 "공간 언어 미이해" vs "조작 능력 한계" 판별.
venv 내 molmo-spaces 패치 2건, uv sync 시 재적용 여부 확인.

flex-pi High

Flex-π(6B multi-stream WAM) — RoboTwin 리더보드 5-group 평가 4/5 완료, 마지막 그룹 preempt 5회 후 재시도 중

0Commits

3Docs

37SLURM Jobs

1RUNNING

어제 한 일

ckpt 선택 완료 — 9k/10k/10.96k overall 67.8/68.0/67.8(동률) → step_010960 확정(106481-85/106646-48/106662-64, GPU 8→4→2로 축소하며 재시도). 8-task 서브셋 clean 93.5 / random 42.0(절반 상한, 25ep).
리더보드 프로토콜 본평가 착수(107346-350, extra 2GPU×5, 50 task × clean/random × 100ep, STEP_LIMIT_FILE=upstream) — g1(12h01m)·g2(9h29m)는 1차에 완료. g3는 5차 시도(107469) 끝에, g5는 3차 시도(107435) 끝에 각각 7h30m 만에 완주. g4는 6번째 시도(107659)가 현재 RUNNING(5h07m+ 경과, 앞선 5회 전부 preempt).
action-only regime 첫 데이터포인트 확보(107345, 2h38m COMPLETED) — 같은 ckpt(step_010960)로 8-task action-only eval, demo-scarce regime margin(P-C) 논거용.
lift_pot random 재측정(107327, 15m37s COMPLETED).

오늘 할 일

g4(107659) 완료 대기 → 리더보드 5그룹 c2c/c2r 최종 집계, released(89.1%) 대비 비교.
action-only vs joint 비교로 demo-scarce regime margin(P-C) 결론 확정.
clean2random 격차(−40pt 안팎) 구조적 한계 재확인, 공유 asset 무결성 계속 모니터.

scene_bench High

SceneMem-Bench — restore family 7모델 격자 완성 + 커밋, 사용자 결정 대기 3건 누적

1Commits

7Docs

20SLURM Jobs

0RUNNING

어제 한 일

커밋 e26b950 docs+exp: restore family 7-model grid (bcaf2815, 322 rows, memory reuse, read-only) — 8 files, +616/−1.
restore family 7모델 격자 완성(bcaf2815, 322행, 양면 정답, 메모리 재사용 읽기 전용; API ≈$57·오픈 $0) — G1 7/7(blind ≤.116), API 오라클 .91–.94 vs 최고 비오라클 flash-3.7 rf-v2 .443(쓰기 병목 극대화), 매체 선호는 과제 방향 따라 뒤집힘, tagmem flash급 2위·hidden/multi 공동 1위, 8B 오픈모델 ≤.12. SLURM: 7모델(sonnet/flash-3.6/flash-3.7/luna/qwen3vl-8b/cosmos-r2-8b/molmo2-8b) 서빙+평가 완료.
find/restore 데이터 검수 인스펙터 제작(예시 7편 3캠 영상+GT 증거 프레임, 46검사 전수) — 구조·자격 0건 통과했지만 확인 필요 항목: 질의 프레임 가시 정답(find 141/645, ≥200px 96=15%·restore 156/433), 지시어 모호 후보(find 55·restore 24), README 정정 3건.
OpenRAL(github.com/OpenRAL/openral) 검토 → 통합 안 함(벤치·데이터·지표 없음, MolmoSpaces 백엔드 부재, ROS2 의존) — MEMORY.md object_locations 로그는 related work 인용 후보로만 채택.
task 4가족×Direct2/Stateful1 격자 제안(축=기억 출처: 내 행동 기록 vs 수동 관찰 vs 실행 상태) — 사용자 결정 대기.

오늘 할 일

데이터 검수 후속 3건 결정 대기(질의 프레임 가시 처리, 지시어 모호 79행, README 정정) → 결정 후 e987b40f·restore 격자 재집계.
restore 본표 hidden 포함 여부 결정.
task grid(Direct/Stateful) 제안 채택 여부 + routine(D) 규칙 출처 결정.

SLURM 요약

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	QOS
105831	MolmoBot	pi05placemolmo-augment place 트랙 학습 — 어제 RUNNING으로 보고, 오늘 완주	8	COMPLETED	7h25m	own
107016-018	MolmoBot-Pi0	pl10k Pick/PnP/NextTorollout_val — 벤치 3종	1×3	COMPLETED	4h22m-4h46m	own
107081-083→310-312	MolmoBot-Pi0	val place10k/mix20k/droid0open-loop val — 1차 취소 후 재제출	1	COMPLETED	29m-45m	own
107304→367→368→382	MolmoBot	pi05plgoalgoal 학습 — 버그 3회(즉시취소/KeyError/IndexError) 후 4차 성공	8	COMPLETED (4차)	7h30m	own
107595-597	MolmoBot-Pi0	ho mix20k/place10k/goal10krollout_handoff — hand-off place 벤치	1×3	COMPLETED	2h14m-2h17m	own
107598-600	MolmoBot-Pi0	val goal on/off/shufopen-loop val — goal 조건 3종	1×3	COMPLETED	29m-40m	own
107603	MolmoBot-Pi0	ho_goal10k_onrollout_handoff — goal-on 재평가	1	COMPLETED	2h56m	own
107743	MolmoBot-Pi0	val_goal_cropgoal 전처리(crop) 프로브 — 기하 갭 가설 기각	1	COMPLETED	45m	own
107752	MolmoBot-Pi0	ho_goal_wrong진단: 틀린 goal 주입 closed-loop	1	RUNNING	45m+	extra
107753	MolmoBot-Pi0	ho_goal_late진단: goal 프레임 30스텝 지연	1	RUNNING	40m+	extra
106481-85/646-48/662-64	flex-pi	c50sel_*ckpt 선택 sweep — GPU 8→4→2로 재시도, 3건 완료·나머지 취소/PENDING	8→2	혼합	0-2h40m	own/extra
107327	flex-pi	c50re_lp_010960lift_pot random 재측정	1	COMPLETED	15m	extra
107345	flex-pi	c50act_010960action-only regime, 8-task 서브셋	2	COMPLETED	2h38m	extra
107346	flex-pi	lb_joint_g1리더보드 clean/random 100ep, group 1	2	COMPLETED	12h01m	extra
107347	flex-pi	lb_joint_g2리더보드 clean/random 100ep, group 2	2	COMPLETED	9h29m	extra
107348→388→412→426→469	flex-pi	lb_joint_g3group 3 — preempt 4회 후 5차 시도 완주	2	COMPLETED (5차)	7h30m	extra
107349→381→386→494→631→659	flex-pi	lb_joint_g4group 4 — preempt 5회, 현재 6차 시도 RUNNING	2	RUNNING	5h07m+	extra
107350→387→435	flex-pi	lb_joint_g5group 5 — preempt 2회 후 3차 시도 완주	2	COMPLETED (3차)	7h31m	extra
106212-14→535/537/538	scene_bench	rcan_/rcan2_Qwen3-VL/Cosmos-R2/Molmo2 canary — own 취소 후 extra 재제출·완료	1	COMPLETED	3m-5m	own→extra
106561-63→645	scene_bench	v1restore_qwen/cosmos/molmo2본평가 — cosmos 1회 preempt 후 재완료	1	COMPLETED	8m-29m	extra
106654-57/967-70/161/166	scene_bench	v1restore_sonnet/flash36/flash37/lunaAPI 4모델, 다중 샤드·재시도 포함	0(CPU)	COMPLETED	28m-3h24m	own/extra

표는 84건(제출 잡, .batch 서브잡 제외)을 잡 이름 단위로 그룹핑해 21행으로 축약한 것 — 화살표(→)는 preempt/버그로 인한 재제출 체인. 총 GPU-Hours ≈282h(flex-pi 리더보드 잡이 대부분). job 105354(flex-pi clean-50 10-epoch 본학습, 09-01 시작 → 09-02 06:54 완주)는 어제(260902) 리포트에 이미 상세 보고되어 이번 집계·표에서 제외했다.

오늘의 우선순위

TL;DR

프로젝트별 진행 상황

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

SLURM 요약

활동 없음