Daily Progress — 2026-09-23

오늘의 우선순위

RUNNINGscene_bench · routine 온라인 본 런 (682칸) — rtmain_main_s0~s3 4개 + rtmain_tagmem_s0/s2/s3 3개 RUNNING(core-extra, 경과 4분~7h) + rescue_restore_main_s1 RUNNING. 어제 09:04 시점 130/682(19%) · 처리량 18행/시 · 추정 잔여 ~32h. 어제 재제출마다 나이가 초기화돼 own 우선순위 뒤로 밀리는 사고로 tagmem 세트가 6.3시간 행 0개였고, --max-episodes 3→5 + core-own→core-extra 전환으로 복구(RUNNING 1→6, preempt 0). 오늘 확인할 것: 세트별(main/tagmem) 정체 재발 여부, 682칸 완주 후 편 난이도(LOO) 보정.
RUNNINGscene_bench · oracle-plan(GT 계획) find/restore 캠페인 — oracle_find_s0/s2 + oracle_restore_s0/s2/s3/s5/s6/s7 총 8개 RUNNING(core-own, 경과 26분~6.6h). own 8-GPU cap이 이미 포화라 oracle_find_s1/s3·oracle_restore_s1/s4·goalv2_on_s0/s1·goalv2_off_s0/s1 총 8개가 QOSMaxGRESPerUser로 PENDING. 시드 메모리 제거 + GT 계획 고정 조건에서 실행 상태 기억(execute-state)만 분리해 재는 실험 — routine과 own GPU를 나눠 쓰고 있어 완주 시점은 둘의 진행 속도에 달림.
NEXTscene_bench · resume 손목캠+1fps 파이프라인 전 가족 적용 여부 결정 — exo+wrist 480×240 합성·1fps로 재측정한 결과 9/9 교차셀 전부 상승(tagmem 최대 +8.4~18.5pp), 5연속 실패했던 누름(press) 개입이 처음으로 부분 회복(.16→.36, "아무것도 안 함" 16→5). 대가는 이미지 7.5배·비용 4.6배. resume 전용 조건 행으로 실을지, 본표에 반영할지 사용자 결정 필요.
BLOCKEDscene_bench · visit_rooms 하네스 결함 처리 — "총 방 수"가 어디에도 주어지지 않아 오라클조차 31행 중 18행이 정답 추론에도 0점(제외 시 오라클 .789→.877, 순위는 불변). resume 관련 md 4건에서 반복 확인된 확정 결함이라 처리 방식(질의 턴에 방 목록 주입 vs 측정 한계로 보고)만 사용자 결정이 남음.
IDLEFurnitureBench · R2S · Zero-WAM · lingbot-va · MolmoBot — 5개 프로젝트 전부 24h 내 커밋·claude 문서·SLURM 0. MolmoBot은 09-22에 OMC 세션 3턴이 있었으나 프로젝트 작업이 아니라 "이전 세션 md/설정 승계 가능 여부"를 묻는 메타 대화였고, 기존 uncommitted diff 19개 파일은 전부 09-05~09-09에 멈춰 있다(어제 변경 없음).

TL;DR

활동은 scene_bench 하나뿐 — 커밋 5건(+618/−4, 12 files) · work log 8건 · SLURM 183건(COMPLETED 100 · PREEMPTED 37 · CANCELLED 21 · RUNNING 16 · PENDING 8 · TIMEOUT 1, 합산 ≈335 GPU-h). 나머지 5개 대상 프로젝트는 커밋·문서·SLURM 전부 0.
온라인 계획형 v2 캠페인 완주(find 767행 + restore 571행 = 1,338행, API $205.3) — 가족에 따라 결론이 정반대다: find는 메모리 전략이 SR을 못 가른다(tagmem·vis-pure 둘 다 ΔSR=+0.001, 248/247칸 검정력으로도 0), restore는 tagmem만 유의(+0.111±0.046, textlog는 −0.082±0.037로 유의하게 하락). hidden(은폐) 조건은 find .087·restore .000으로 거의 전멸 — 원인은 기억이 아니라 조작(서랍 열고도 GT 못 듦 .17/.01). 병목은 파지: restore 도달했지만 못 든 행이 80%(312/388).
resume 실패를 "완료 증거가 장면에 남는가" 하나의 축으로 통합 진단 — 담기·옮기기(상태가 남음)는 이미지 전략이 거의 완벽한데 누름·방문(흔적 없음)은 전 전략 전멸. 지각 프로브로 "손목캠+1fps" 조합만 누름을 셀 수 있음을 확인(8/10, 다른 두 조건은 실패) → 파이프라인 전체 재측정에서 9/9 교차셀 상승 재현. rf-v3 재작성 vs 누적 절제는 귀무(p=.856, MEM의 재작성이 원인이 아님 확인), 지시문·발화 주입은 텍스트 채널만 부풀려 논문에 못 씀(D칸 — reader가 "지시문 숫자를 베껴 써서" 18/20 과대 판정).
routine 온라인 본 런(682칸) 제출 후 처리량 사고 — 재제출마다 age가 초기화돼 own 우선순위 맨 뒤로 밀리는 구조적 문제를 squeue -o "%Q %V" 한 번으로 특정, --max-episodes·QOS 조정으로 해결(RUNNING 1→6, preempt 0). share는 기동 비용(~10분) 때문에 이 워크로드에 못 씀을 실측 확인(3회 전부 preempt, 행 0개).
채점 감사 3건(tv stand 어휘결함 R2 구제, 오라클 acted 오답 97%가 실패 조작, 위치-물체 대응 미채점)으로 본표 보정 적용 — find tagmem .514→.522 · restore tagmem .186→.190.

프로젝트별 진행 상황

scene_bench High

Scene-level long-term memory 벤치마크(find·restore·resume·routine 4가족) — 메모리 6전략(tagmem·vis-pure·rf-v3·frames-uniform·textlog·blind) 비교 + VLA 온라인 실행 트랙(MolmoBot place_oc@10000). 대상 경로: Robotics/scene_bench(활동) · Robotics/scene-mem-gen(무활동, 마지막 문서 260908 — 사실상 폐기된 구 경로).

5Commits (+618 / −4)

8Work Logs

183SLURM Jobs

≈335GPU-h

어제 한 일 — A. 온라인 계획형 v2 캠페인 완주 (restore·find 본표 + tagmem 재측정 + 통합장부 부정결과, $205.3)

규모: restore 571행 성공 105(18.4%) $119.68 / find 767행 성공 359(46.8%) $85.61. execute-state(실행 중 바뀐 세계 상태를 기억에 넣고 다시 꺼쓰는 능력) 수정 4건을 반영해 전 캠페인 재측정.
핵심 결과 — 가족별로 결론이 정반대: find ΔSR(LOO 보정) tagmem +0.001±0.031(248칸) · vis-pure +0.001±0.031(247칸) — 검정력이 충분한데도 정확히 0. restore는 tagmem +0.111±0.046(유의) · textlog −0.082±0.037(유의 하락). 해석: find="어디 있었지"(단일조회, 읽기 답 맞으면 나머지는 실행 문제), restore="원래 어땠지"(과거↔현재 대조, 실행 중에도 메모리가 계속 일함).
hidden(은폐) 조건 거의 전멸: find .087(103칸) · restore .000(68칸). GT 근처 도달은 hidden이 오히려 높고 open/close도 시도하는데 GT를 듦은 .17/.01 — 메모리가 아니라 조작 문제로 변질.
병목은 파지: restore 도달했지만 못 든 행 312/388(80%). 영상 사례 5건 확인 — 30~56회를 같은 방식으로 실패한다(회복 없음).
통합 장부(tagmem-r3-ledger) 조건은 채택하지 않음: 짝 16칸 A 8/16 → B 4/16, 컨텍스트가 69% 칸에서 예산 밖으로 밀림.
도중 결함 6건 수정: tagmem restore 구 런(214행) 무효 판정 후 재측정(Visual memory 블록이 통째로 빠진 구 스냅샷이었음, KEEP 0.001→0.430 430배, SR .215→.271) · 본표가 옛 파일 패턴을 가리키던 버그 · restore 본표 tagmem 누락 · 파일명 규약 파손 · 비용캡 중단 · babysitter QOS 되돌림.

어제 한 일 — B. resume 통합 진단 + 손목캠 개입 (누름 개입 5연패 후 첫 양성)

실패 원인을 하나의 축으로 통합: 161행×7전략 Δ(완료 단위 손실) 분석 — 오라클은 98% 정확(전부 양수 방향 없음), 메모리 전략은 전부 음수. 상태가 장면에 남는 유형(옮기기)은 이미지 전략이 거의 완벽(vis-pure +.06·tagmem +.06) vs 텍스트 −.50~−.71. 흔적 없는 유형(누름)은 전 전략 전멸(−.96~−1.32) — 채널 문제가 아니라 증거의 부재.
지각 프로브(메모리 파이프라인 없이 지각만, $0.93): exo+wrist 1fps 조합만 누름 정확 8/10·±1 10/10(exo 단독은 과대 +1.8, 밀도만 3배는 과소 −1.0) — 밀도는 필요조건, 손목캠은 접촉 증거, 둘이 함께여야 셀 수 있다.
본 측정(flash, 966행·100편·$137.18): exo+wrist 480×240 합성 + writer 1fps(30장/청크)로 재측정, visit_rooms 제외 130행 기준 rf-v3 .192→.292(p=.029) · tagmem .238→.423(p<.001) · textlog(대조군) .877→.885(평평, 통과) · vis-pure .215→.254(비유의, 고정 8장 예산이 450장 후보에서 더 어려워짐). 누름 press_button tagmem .16→.36, "아무것도 안 함" 16→5.
교차 셀(flash가 쓴 메모리 → 오픈 reader 3종): 9/9 셀 전부 상승, tagmem이 가장 크게(+8.4~13.1pp) — 이득이 reader가 아니라 writer가 쓴 메모리 내용에서 옴을 확인.
rf-v3 재작성 vs 누적(append) 절제: 주지표 무차이(.174→.186, McNemar p=.856) — MEM의 재작성 연산자가 resume 약세의 원인이 아니다. 담기 +14.8pp vs 옮기기 −29.4pp가 상쇄돼 귀무처럼 보였을 뿐(행 원문으로 기제 확인 — 재작성은 목적지를 압축하다 틀리면 손해, 누적은 끝난 일도 진행 중으로 재서술해 손해).
D칸(어휘+발화+10s) ablation은 음성: flash 스모크에서 발화 주입이 오히려 해로움 확인 → 본 런 취소(비용 0). reader가 지시문의 숫자를 그대로 베껴 "완료"로 확신(pending 20개 중 18개 과대 판정, 정확 0개) — 세는 게 아니라 지시문을 재진술한다. 기각.
tagmem online restore goal A/B: 최신 하네스(src_main4, 시드가 질의 태그 검색으로 변경됨)로 재측정 진행 중 — 이전 A/B(구 스냅샷)는 무효 판정, 102칸 두 팔 제출(goalv2_on/off, 위 PENDING 참고).

어제 한 일 — C. 채점 감사 3건 + rf-v3 교차 보완 (인스펙터 목검 → 실재 결함 3건)

tv stand 명칭 결함 — TVStand·SideTable이 한 이름으로 합쳐지는데 답 어휘에 side table이 없어 102개 중 1개만 정답 처리되던 것을 R2 구제 채점으로 수정(올리기 전용). dresser는 기각(실제로 그 방에 있는 가구였음).
오라클이 acted에서 틀리는 30행 중 29행(97%)이 실패한 조작 — 로그가 최종 안착 위치를 안 적어 모델이 "실패→바닥"으로 일관 추론하지만 실제로는 다양한 위치. 재측정 필요해 기술만 하기로.
위치-물체 대응 미채점(category를 버리고 위치 다중집합만 비교) 보정 — 영향은 작음(전 모델·전략 합 21행).
rf-v3 교차 보완 15칸 전부 상승 — writer를 통제해도 restore에서 tagmem > rf-v3 > vis-pure 순위 유지 확인(기존엔 rf-v3가 자기 쓰기라 비교 불가였음).
지시문 쓰기 주입 A/B — D1(지시문에 답 있는 칸)만 폭등, 텍스트 채널 전략만 이득(+6~24pp vs vis-pure +0.5pp) → 논문에 못 씀(채널 비대칭 확정).
본표 보정 적용: find v1.0 R2구제 158/강등 5 · find v1.2 79/15 · restore 62/8. flash 기준 find tagmem .514→.522 · restore tagmem .186→.190.

어제 한 일 — D. routine 온라인 본 런 제출 + 처리량 사고 대응 (682칸, 9시간 운영 기록)

19:08 UTC 제출(main 534 + tagmem 148), $0 프리플라이트 전량 통과. 과정에서 프리플라이트 자체 결함 2건 발견·수정(옛 스냅샷에서 resume 전용 코드가 무조건 실행되던 문제).
처리량 저하: routine RUNNING 잡이 6→1개로 줄고 tagmem이 6.3시간 행 0개. squeue -o "%Q %V"로 원인 특정 — --max-episodes 3이라 3편마다 재제출되며 age가 초기화돼 own 우선순위 맨 뒤로 밀림(oracle·rescue·v12와 own 8장 공유).
조치: --max-episodes 3→5(메모리 실측 3편 99.5GB/128GB 기준) + --mem 128→200GB, core-own→core-extra 전환. 결과 RUNNING 1→6, preempt 0건, 처리량 18행/시로 회복.
share는 이 워크로드에 못 씀(실측) — 3회 전부 10~14분 만에 PREEMPTED, 행 0개(기동 ~10분 필요, PreemptExemptTime=5min 안에 못 버팀). extra는 다름(47분 생존, 행 작성) — 둘을 묶어 판단했다가 승인받은 조치를 되돌린 오판을 정정.

오늘 할 일 / 미해결 이슈

routine 본 런 완주 감시 — 130/682(19%) 시점 기록, 추정 잔여 ~32h. 세트별(main/tagmem) 정체 재발 여부 계속 확인. 겉보기 GC 하락(0.275→0.094)은 편 구성 차이로 추정 — 최종 판단은 682칸 완료 후 LOO 보정으로.
oracle-plan(GT 계획) find/restore 캠페인 완주 대기 — own 8-GPU cap 포화(8 RUNNING + 8 PENDING), routine과 own 슬롯을 경합 중.
goalv2 A/B(최신 하네스 재측정) 완료 대기 → 결과 나오면 LOO 표에 반영.
resume 손목캠+1fps 전 가족 적용 여부 — 비용 4.6배, resume 전용 조건 행으로만 실을지 본표 반영할지 사용자 결정.
visit_rooms 총 방 수 미제공 결함 처리 — 오라클 .789→.877 영향, 처리 방식(주입 vs 측정 한계 보고) 결정 필요.
hidden 171칸(find 103 + restore 68) 별도 표 여부 — 현재는 보류(Online GT Eval에서 처리하기로, 본표는 현 구성 유지).
VLA 입력 카메라(exo_camera_1/wrist_camera) 별도 저장 — 현재 파지 실패 영상은 VLM 카메라(bench_exo_L)라 VLA가 실제로 본 화면이 아님. 파지 원인 추가 분석에 필요(재측정 필요).

활동 없는 프로젝트

SLURM 요약 — scene_bench (183건, ≈335 GPU-h)

RUNNING (16)

Job ID	프로젝트	실행 명령	GPU	상태	경과	노드	QOS
148894	scene_bench	oracle_restore_s2 — GT계획 restore 캠페인	1	RUNNING	6:39:34	n6	core-own
149194	scene_bench	oracle_find_s0 — GT계획 find 캠페인	1	RUNNING	5:11:04	n7	core-own
149324	scene_bench	oracle_restore_s7 — GT계획 restore 캠페인	1	RUNNING	4:35:33	n33	core-own
149475	scene_bench	oracle_restore_s5 — GT계획 restore 캠페인	1	RUNNING	3:28:29	n1	core-own
149592	scene_bench	oracle_restore_s6 — GT계획 restore 캠페인	1	RUNNING	2:24:29	n24	core-own
149617	scene_bench	oracle_restore_s3 — GT계획 restore 캠페인	1	RUNNING	2:23:59	n35	core-own
149725	scene_bench	oracle_find_s2 — GT계획 find 캠페인	1	RUNNING	1:13:28	n23	core-own
149763	scene_bench	oracle_restore_s0 — GT계획 restore 캠페인	1	RUNNING	0:26:28	n52	core-own
148422	scene_bench	rtmain_main_s3 — routine 온라인 본 런(main)	1	RUNNING	6:57:34	n92	core-extra
149187	scene_bench	rtmain_main_s2 — routine 온라인 본 런(main)	1	RUNNING	6:51:33	n36	core-extra
149889	scene_bench	rescue_restore_main_s1 — R2 구제행 온라인	1	RUNNING	0:37:58	n95	core-extra
149867	scene_bench	rtmain_tagmem_s2 — routine 온라인 본 런(tagmem)	1	RUNNING	1:37:28	n47	core-extra
149913	scene_bench	rtmain_main_s1 — routine 온라인 본 런(main)	1	RUNNING	0:29:28	n41	core-extra
149915	scene_bench	rtmain_tagmem_s0 — routine 온라인 본 런(tagmem)	1	RUNNING	0:29:28	n44	core-extra
149923	scene_bench	rtmain_main_s0 — routine 온라인 본 런(main)	1	RUNNING	0:11:28	n66	core-extra
149941	scene_bench	rtmain_tagmem_s3 — routine 온라인 본 런(tagmem)	1	RUNNING	0:03:58	n38	core-extra

PENDING (8) — 전부 core-own, QOSMaxGRESPerUser(own 8-GPU cap 포화)

완료 · 선점 · 취소 이력 (159건, 잡 이름별 집계)

Job ID	프로젝트	실행 명령	GPU	상태	QOS
149771	scene_bench	oracle_find_s1 — GT계획 find 캠페인	1	PENDING	core-own
149879	scene_bench	oracle_find_s3 — GT계획 find 캠페인	1	PENDING	core-own
149820	scene_bench	oracle_restore_s4 — GT계획 restore 캠페인	1	PENDING	core-own
149882	scene_bench	oracle_restore_s1 — GT계획 restore 캠페인	1	PENDING	core-own
149797	scene_bench	goalv2_on_s1 — tagmem goal이미지 A/B 재측정(최신 하네스)	1	PENDING	core-own
149924	scene_bench	goalv2_on_s0 — tagmem goal이미지 A/B 재측정(최신 하네스)	1	PENDING	core-own
149831	scene_bench	goalv2_off_s0 — tagmem goal이미지 A/B 재측정(최신 하네스)	1	PENDING	core-own
149877	scene_bench	goalv2_off_s1 — tagmem goal이미지 A/B 재측정(최신 하네스)	1	PENDING	core-own

실행 명령(그룹)	프로젝트	설명	상태 분포	GPU-h(합)
rtmain_main	scene_bench	routine 온라인 본 런(main 세트)	COMPLETED 12PREEMPTED 5TIMEOUT 1	88.8
rtmain_tagmem	scene_bench	routine 온라인 본 런(tagmem 세트)	COMPLETED 22PREEMPTED 11CANCELLED 3	34.9
oracle_find	scene_bench	GT계획(oracle-plan) find 캠페인	COMPLETED 13PREEMPTED 1	48.7
oracle_restore	scene_bench	GT계획(oracle-plan) restore 캠페인	COMPLETED 12CANCELLED 11	56.0
v12_delta4	scene_bench	find 온라인 v1.2 계획형 — 신규 4전략 칸	PREEMPTED 11COMPLETED 4	11.5
rescue_restore_main	scene_bench	R2 구제행 온라인 재실행(restore·main)	COMPLETED 9PREEMPTED 3CANCELLED 1	15.0
v12_tagmem	scene_bench	find 온라인 v1.2 계획형(tagmem 전략)	PREEMPTED 5COMPLETED 2	3.0
rescue_find_main	scene_bench	R2 구제행 온라인 재실행(find·main)	COMPLETED 4CANCELLED 1	2.5
goalv2_on	scene_bench	tagmem goal이미지 A/B 재측정(최신 하네스, on)	COMPLETED 3	9.1
goalv2_off	scene_bench	tagmem goal이미지 A/B 재측정(최신 하네스, off)	COMPLETED 3	11.0
wr_flash_k2/k3	scene_bench	resume 손목캠+1fps flash 본 측정(API키 2·3)	COMPLETED 2	5.9
xwrf_q32/gemma4/qwen38	scene_bench	resume 손목캠 교차 셀(오픈 reader 3종)	COMPLETED 3	2.4
xwr_q32/gemma4/qwen38	scene_bench	rf-v3 자기쓰기→flash 읽기 교차 보완	COMPLETED 4	1.9
rescue_restore_tagmem	scene_bench	R2 구제행 온라인 재실행(restore·tagmem)	COMPLETED 2	0.9
v12_vispure	scene_bench	find 온라인 v1.2 계획형(vis-pure 전략)	PREEMPTED 1COMPLETED 1	1.5
goalgt_on_10/off_10	scene_bench	tagmem goal A/B 초기판(구 하네스, 10칸)	CANCELLED 3COMPLETED 1	0.1
apnd_rs_a/b	scene_bench	resume rf-v3 append(누적 연산자) 절제	COMPLETED 2	0.9
rescue_find_tagmem	scene_bench	R2 구제행 온라인 재실행(find·tagmem)	COMPLETED 1	0.1
cellD_q38	scene_bench	resume D칸(어휘+발화+10s) ablation 스모크	CANCELLED 2	0.0