Daily Progress — 2026-09-25

오늘의 우선순위

RUNNING+PENDINGscene_bench · "토탈 재실행" 캠페인 진행 중 — 재현 불가로 빠졌던 옛 씬 칸(routine 200·resume 81)과 게이트 제외 칸을 전부 메우는 마무리 런(routine 244칸·resume 131칸, 승인 예산 ≈$68). oracle_tmrep_find0/1 2건이 own QOS로 4h20m+ RUNNING 중이고, 나머지 rtfull_s0~s6(routine 7)·rsfull_6187/fd85_s*(resume 5)·oracle_tmrep_restore0/1(2) 총 14건은 BeginTime(05:45~06:10 KST)이 이미 지났는데도 own GPU quota 포화로 PENDING. 완료 예상 오늘 오후(원 계획은 KST 9/26 00:05 예약이었으나 조기 기동됨).
확인 필요scene_bench · 버그 2건의 재실행 검증 마무리 — 운반 버그(730a879, 두께>4cm 물체가 팔 이동 중 낙하)와 주입 컨테이너 파킹 버그(정적 바디 위치 미복원, 통 칸 성공 0/121·0/132·0/90)가 하루 종일 여러 캠페인을 무효화·재실행시켰다. 위 토탈 재실행이 이 두 버그의 마지막 잔여 칸 정리다.
NEXTscene_bench · 실험3(oracle-plan) resume 805칸 본 런 — GT계획·시드없음 조건, find(750)·restore(740)·routine(615/615, $88.05)는 완주. resume은 805칸 규모로 원격 키 3개 분할 배정해 기동 중, 완주 시점 모니터링 필요.
NEXTscene_bench · tagmem resume 팔 절제실험 재개 — text/frame-only 절제(find·restore·routine 3가족 완료, ≈$95+)의 resume 팔만 남음(≈$96). API 키(key2) 월간 캡이 10/1에 풀리는 대로 진행 예정.
IDLEscene_bench_paper · FurnitureBench · R2S · Zero-WAM · lingbot-va · MolmoBot — 6개 프로젝트 전부 24h 내 커밋·claude 문서·SLURM 0. scene_bench_paper는 scene_bench의 새 수치(resume cut-tail 표 등)를 논문 본문에 반영해야 할 후속 작업이 남아 있음(아래 참고).

TL;DR

scene_bench 단일 프로젝트가 하루를 전부 채움 — 커밋 126건(+6073/−411, 단일 작업자), work log 30건, SLURM 236건(COMPLETED 149·PREEMPTED 12·CANCELLED 75, ≈148.5 GPU-h). 나머지 7개 대상 프로젝트(scene-mem-gen·FurnitureBench·scene_bench_paper·R2S·Zero-WAM·lingbot-va·MolmoBot)는 전부 무활동.
버그 발견→재실행의 하루 — 운반 버그(730a879, 두께>4cm 물체 낙하, restore·routine 최대 99% 영향)와 주입 컨테이너 파킹 버그(통 칸 성공률 0)가 연쇄로 발견돼, routine·resume·실험3(oracle-plan) 거의 모든 캠페인이 재실행을 거쳤다. 수정 후 restore 재실행 성공 17→39(SR .183→.220), routine 재실행(통 아닌 120칸) GC .212→.294.
온라인 본 런 3계열 완주 — routine main 682칸(GC .155→최종 .192) · 실험3 find(750행, $52.14, 5 arm 구별 불가 p≥.26) · restore(740행, $139.56, rf-v3만 유의 SR .196 vs blind .108 p=.011) · routine(615/615, $88.05, tagmem SR .171 최고나 유의 아님 p=.31) · resume는 342→805칸으로 확장 제출.
tagmem 분석 3편으로 "왜 이기고 지는지" 규명 — modality ablation: routine은 텍스트가 거의 전부(60.6 vs frame 19.0, p<.001), find는 프레임이 지배(47.7 vs text 42.0), restore는 둘 다 필요. 시드 없는 조건(실험3)에서 tagmem이 부진한 건 "못해서"가 아니라 그 조건 자체가 tagmem 강점(컨텍스트 검색)을 측정하지 않기 때문. resume single 채점 기준을 pending 과제수로 재정의하자 심슨의 역설(vis-pure 겉보기 우위)이 사라지고 전 지표에서 tagmem이 1위로 확정.
goal 이미지 실험 최종 확정 — 카메라 조건 논쟁 끝에 VLM 지목 goal이 유효함(@15cm 19/93 vs 없음 9/93)으로 정본 채택. 인프라 쪽은 센서 슬림화로 액션당 587ms→254ms(2.3배) 개선해 신규 캠페인부터 채택, 논문용 floorplan 228채 렌더도 완료.

프로젝트별 진행 상황

scene_bench High

Scene-level long-term memory 벤치마크(find·restore·resume·routine 4가족) — 메모리 6전략(tagmem·vis-pure·rf-v3·frames-uniform·textlog·blind) 비교 + VLA 온라인 실행 트랙. 대상 경로: Robotics/scene_bench(활동) · Robotics/scene-mem-gen(무활동 — 마지막 문서 260908, git 미연동, 사실상 폐기된 구 데이터생성 경로).

126Commits (+6073 / −411)

30Work Logs

236SLURM Jobs

≈148.5GPU-h

어제 한 일 — A. 버그 2건 발견·수정·재실행 순환 (하루 전체를 지배한 근본 원인)

운반(carry) 버그(커밋 730a879) — 든 채 팔 이동 시 그리퍼 닫힘 명시 누락으로 두께>4cm 물체를 운반 첫 스텝에 놓아버림. 영향 실측 restore·routine 낙하율 95~99%. 수정 후: restore 온라인 121칸 재실행($17.13) 성공 17→39(SR .183→.220, LOO tagmem Δ+.121±.045 유일 유의) · routine 144칸 재실행(통 아닌 120칸) GC .212→.294 · 실험3 restore 149칸 대체(슬림69/비슬림80) 성공 13→35.
주입 컨테이너 파킹 버그 — 정적 바디(빨래바구니 등)가 qpos가 아닌 body_pos에 있어 npz 복원 시 허공에 남음. 영향: routine 682칸 중 121칸 성공 0/121 · resume 372칸 중 132칸 · 실험3 routine 615칸 중 90칸(전부 0). 수정 커밋 5fbbbf5 + 검증 게이트 G7 신설. 재실행 결과 통 칸 routine 121/121 완주(성공 13/121=.107·GC .117·$26.50).
두 버그 잔여분 정리가 오늘 새벽 "토탈 재실행"(routine 244·resume 131칸, ≈$68)으로 이어짐 — 위 우선순위 참조.

어제 한 일 — B. 온라인 본 런 3계열 완주/확장 (main 682칸, 실험3 find·restore·routine, resume 342→805칸)

routine 온라인 main 682칸 완주 — 최초 GC .155($133.85, 218 GPU시간) → 운반버그로 결과 잠정 철회 → 재실행 후 중간보관 661/682행 GC .192.
실험3(oracle-plan, GT계획·시드없음) find 750행($52.14) — 5 arm 통계적 구별 안 됨(blind .367~tagmem .360, p≥.26). restore 740행($139.56) — rf-v3만 유의(SR .196 vs blind .108, p=.011). routine 615/615 완주($88.05) — tagmem SR .171 최고이나 McNemar p=.31로 유의 아님.
resume 온라인 — v2(손목 인셋+1fps+방목록) 391칸 → 검증 342칸 제출 → v3(컷별 꼬리청크) 반영해 805칸(single 100·multi 61질의)으로 확장, 원격 키 3개 분할 배정 기동. 누름(press) 판정 6단계 결함 수정 끝에 place_oc_press .58(place_oc .01) 달성.
실행 병목은 5개 가족 공통 — VLA 파지 실패가 find 77/150·restore 102/148칸에서 arm 구분 없이 발생.

어제 한 일 — C. tagmem 메모리 전략 분석 3편 (왜 이기고 지는지 — 모달리티·조건·채점기준 3방향 규명)

모달리티 절제(text-only/frame-only) — find(717행) 프레임 지배: full 46.6 vs text 42.0 vs frame 47.7. restore(575행) 둘 다 필요: full 19.0 vs text 16.2 vs frame 15.7. routine(310행) 텍스트 지배: full 60.6 vs text-only 58.7(p=.49, 동률) vs frame 19.0(p<.001). 원인: 태그 검색이 범주 수준 일반화(다른 물체의 시범)를 회수하지 못함.
실험3(시드없음)에서 tagmem 부진 원인 — find .360(5개 중 3위)·restore .142(blind 대비 p=.42)로 낮지만, 이는 "못하는" 게 아니라 시드가 없어 tagmem의 강점(컨텍스트 검색)이 애초에 측정 대상이 아니기 때문. 시드 있는 실험2에서는 restore .303으로 1위. 효율 지표(재-pick·낭비턴)는 실험3에서도 tagmem이 최고(.053/.315).
resume Single 심슨의 역설 해소 — vis-pure가 Single에서 1위(48.4)로 보였던 건 3행 차이(p=.58, 유의 아님)이자 채점 정의(남은 단위수) 문제. "pending 과제수" 기준으로 재정의하자 모든 reader·전략에서 tagmem이 Single(42.0)·Multi(47.5)·Avg(44.1) 전부 1위로 확정. resume cut-tail(컷 직전 30초 시야 확보) 적용 시 rf-v3 .335→.460(+12.4pp)·tagmem .441→.528(+8.7pp) — 본표 채택됨.

어제 한 일 — D. goal 이미지 실험 최종 확정 (운반버그 재측정 → 카메라 논쟁 → 정본 확정)

운반버그 수정 후 재측정해도 온라인 A/B(102쌍)는 여전히 무차이(29 vs 31, p=.856). place-only 프로브(93칸, 4조건)에서는 VLM 지목 goal @15cm 19 vs 없음 9(한쪽만 적중 16:6, p=.052) — goal 유효성 확인.
이후 정책 카메라가 학습 분포 밖으로 배치되는 결함을 발견해 재측정하니 효과가 소멸(9→13)했으나, 사용자 최종 결정: "카메라는 결함이 아니라 원래 랜덤 배치" → VLM 지목 goal @15cm 19 vs 9가 정본으로 확정(final_results/goal_place_only_v1_260924/).

어제 한 일 — E. 인프라·성능·기타 (센서 슬림화·논문용 렌더·해상도 대조·회복력 실험)

센서 슬림화 채택 — 관측 처리가 액션당 소요시간의 65%(330ms)를 차지, 안 쓰는 센서가 260ms. 카메라 슬림화만으로 587→499ms, +OIP 슬림화로 254ms(2.3배). 궤적 비트동일(카메라만)·분포동일(RNG 밀림, +OIP) 검증 완료 → 신규 캠페인부터 SB_SLIM_SENSORS=1 SB_SLIM_OIP=1 채택.
논문용 ProcTHOR 평면도 228채 전량 렌더 완료(오류 0) — 도식형+컬러 탑다운, 이후 원근+skybox+로봇 포함 버전 228장×2 추가.
읽기 오답 시 온라인 회복력($11.57+$23.77) — find 읽기정답 SR .580 → 읽기오답 SR .206(방까지 틀리면 .105), 탐색으로 진짜 회복한 칸은 10/180(5.6%)뿐. restore는 더 가혹: 읽기오답 시 성공 3/180(1.7%), 둘 다 틀리면 0/71.
VLM 현재뷰(320×181, 57,920픽셀)가 컨텍스트 기억프레임(640×480, 307,200픽셀)보다 5.3배 저해상도 — 마운트·수직FOV는 정확히 일치, 차이는 시점이 아니라 해상도·비율·그림자. 4가지 대응안 중 결정 대기(진행 중 캠페인 안에서는 변경 금지).
부록 자기쓰기 표 잔여 4칸 채우려 yj-1(H200) 서버 이식(≈133GB, 검증 bad=0) 시도했으나 vLLM 오프라인모드 스모크 실패 → 운반버그 재실행 우선으로 보류.

오늘 할 일 / 미해결 이슈

[최우선] 토탈 재실행 완주 확인 — routine 244칸·resume 131칸(잡 12개), own GPU 8장 중 4장이 다른 캠페인(Online_GT_Eval)과 경합 중. 완료 예상 오늘 중, 완료 후 통 칸 routine 5칸 원격 회수·병합·final_results 최종 갱신.
routine 온라인 main: 통 칸 21칸 완주 후 최종 GC·LOO·실패분해·리포트 갱신.
resume 온라인 main: v3w 잔여 회수, 방문 재채점 v3w분(187행) 마무리.
tagmem 절제실험 resume 팔(≈$96) — key2 월간 캡 10/1 해제 후 진행.
실험3 오라클: 컨테이너 90칸+비통 95칸=185칸 재실행 결과 회수·표 확정, resume 805칸 본 런 모니터링·키 배분 관리.
읽기오답 회복 실험: vlmpick 잔여 회수 후 최종표, "엉뚱한 곳 done" 45칸 행단위 확인.
VLM 온라인 뷰 해상도 처리 방침 결정(4안 중) — 진행 중 캠페인 밖에서.
논문(scene_bench_paper) 반영 필요: analysis.tex Resume 문단의 "vis-pure 우위" 서술을 새 표(tagmem 55.0>rf-v3 53.0>vis 39.0)에 맞게 정정.

활동 없는 프로젝트

SLURM 요약 — scene_bench (236건, ≈148.5 GPU-h)

RUNNING (2)

Job ID	프로젝트	실행 명령	GPU	상태	경과	노드	QOS
155749	scene_bench	oracle_tmrep_find0 — 토탈 재실행(find 계열) 샤드 0	1	RUNNING	4:19:41+	n26	core-own
155750	scene_bench	oracle_tmrep_find1 — 토탈 재실행(find 계열) 샤드 1	1	RUNNING	4:19:41+	n28	core-own

PENDING (14) — BeginTime(05:45~06:10 KST) 경과, own GPU quota 포화로 대기

완료 · 선점 · 취소 이력 (220건, 잡 이름별 집계, GPU-h 상위 15 + 기타)

Job ID	프로젝트	실행 명령	GPU	상태	QOS
155789	scene_bench	rtfull_s0 — 토탈 재실행(routine, 244칸) 샤드 0	1	PENDING	core-own
155792	scene_bench	rtfull_s1 — 토탈 재실행(routine) 샤드 1	1	PENDING	core-own
155794	scene_bench	rtfull_s2 — 토탈 재실행(routine) 샤드 2	1	PENDING	core-own
155795	scene_bench	rtfull_s3 — 토탈 재실행(routine) 샤드 3	1	PENDING	core-own
155796	scene_bench	rtfull_s4 — 토탈 재실행(routine) 샤드 4	1	PENDING	core-own
155797	scene_bench	rtfull_s5 — 토탈 재실행(routine) 샤드 5	1	PENDING	core-own
155798	scene_bench	rtfull_s6 — 토탈 재실행(routine) 샤드 6	1	PENDING	core-own
155787	scene_bench	rsfull_6187_s0 — 토탈 재실행(resume, 매니페스트 6187) 샤드 0	1	PENDING	core-own
155791	scene_bench	rsfull_6187_s1 — 토탈 재실행(resume 6187) 샤드 1	1	PENDING	core-own
155793	scene_bench	rsfull_6187_s2 — 토탈 재실행(resume 6187) 샤드 2	1	PENDING	core-own
155788	scene_bench	rsfull_fd85_s0 — 토탈 재실행(resume, 매니페스트 fd85) 샤드 0	1	PENDING	core-own
155790	scene_bench	rsfull_fd85_s1 — 토탈 재실행(resume fd85) 샤드 1	1	PENDING	core-own
155831	scene_bench	oracle_tmrep_restore0 — 실험3 restore 잔여 재실행 샤드 0	1	PENDING	core-own
155832	scene_bench	oracle_tmrep_restore1 — 실험3 restore 잔여 재실행 샤드 1	1	PENDING	core-own

실행 명령(그룹)	프로젝트	설명	상태 분포	GPU-h(합)
rtrerun	scene_bench	routine 온라인 운반버그 재실행(144칸 세트)	COMPLETED 13CANCELLED 1	35.7
rwres	scene_bench	실험3(oracle-plan) resume 805칸 본 런 워커	COMPLETED 27	19.3
rtmain_main	scene_bench	routine 온라인 main 런(682칸, 초기 세트)	COMPLETED 3PREEMPTED 1CANCELLED 3	15.0
readwrong	scene_bench	읽기 오답 시 온라인 회복력 실험 워커	COMPLETED 21PREEMPTED 8CANCELLED 4	11.0
oracle_restore	scene_bench	실험3 restore 캠페인 초기 워커(전량 취소·재제출)	CANCELLED 4	10.5
goalog	scene_bench	goal 이미지 place-only 프로브 워커(1차)	COMPLETED 5PREEMPTED 1	9.8
goalog2	scene_bench	goal 이미지 place-only 프로브 워커(2차, 카메라수정 후)	COMPLETED 8	7.4
oracle_find	scene_bench	실험3 find 캠페인 워커	COMPLETED 2	5.2
rspilot2b_fd85	scene_bench	resume 누름(press) 파일럿 2b(매니페스트 fd85)	COMPLETED 2	4.1
goalv3_off	scene_bench	goal A/B v3(off 조건)	COMPLETED 1	3.8
goalv3_on	scene_bench	goal A/B v3(on 조건)	COMPLETED 1	3.7
oracle_restore_sy0	scene_bench	실험3 restore 증분 워커(sy0)	COMPLETED 1	3.3
rtrerunp	scene_bench	routine 컨테이너 파킹버그 재실행(대부분 취소·재제출)	CANCELLED 12COMPLETED 4	2.8
rspilot2_fd85	scene_bench	resume 누름 파일럿 2(매니페스트 fd85)	CANCELLED 2COMPLETED 2	2.6
goalogv	scene_bench	goal 검증(v) 라운드	PREEMPTED 1COMPLETED 2CANCELLED 4	1.7
기타 ≈57개 그룹	scene_bench	tagmem 모달리티 절제(tagabl_)·verify 게이트(g7v/vv2/fixchk/rsv13)·floorplan 렌더·vLLM reader 서빙(xwt)·컨테이너버그 취소분(cf_/rsmain_) 등 소규모 잡	COMPLETED 57PREEMPTED 1CANCELLED 45	12.6