Daily Progress — 2026-09-24

오늘의 우선순위

RUNNINGscene_bench · routine 온라인 본 런(682칸) 지속 — rtmain_main_s0/s4 RUNNING(5h+), rtmain_main_s1/s3는 own 8-GPU cap 포화로 PENDING. 어제 목격된 "재제출마다 age 초기화" 사고는 --max-episodes 5·core-extra 전환으로 복구된 상태 유지 중이나, 어젯밤 클러스터 포화(core 70/72)로 oracle-plan과 own 슬롯 경합이 재발했다. 오늘 확인: 세트별 RUNNING 개수 재점검.
RUNNINGscene_bench · oracle-plan(GT계획) find/restore 캠페인 — 목표 1,490칸(find 750 + restore 740) 중 11:32 UTC 기준 find 577/750·restore 441/740(잠정 보관소 final_results/oracle_plan_v1_260923_PARTIAL/ 생성됨). 클러스터 포화로 속도가 35행/h→8행/h로 급락(12→5샤드), 남은 ~470행 ETA ~2일. own 4장을 오라클이, 나머지 4장을 다른 세션(goalv2·rsprobe)이 쓰는 중 — GPU 우선순위 재조정은 사용자 결정 대기.
NEXTscene_bench · readwrong_find 채점 재검증 6샤드 대기 — find v1.2 정답(merged.json)을 다시 읽어 검증하는 감사 잡(readwrong_s0~s5) 전부 PENDING. 채점 감사 3건(tv stand 어휘결함·오라클 acted 오답·위치-물체 미채점)이 이미 본표를 보정한 뒤라, 이번 재검증 결과가 추가 보정을 부를지 확인 필요.
확인 필요FurnitureBench · openarm2 dual-arm screw assembly 하네스 7연속 FAILED — screw_extra_v13~v19_s9201 7버전이 전부 RuntimeError: Assembly did not remain matched after release로 실패(각 2~4분). git 커밋도 claude 문서도 없이 SLURM 로그에만 남은 활동 — regrasp/screw 사이클 로직을 손보는 중으로 추정되나 기록이 없어 진행 상황 파악 불가. 작업 로그 기록 권장.
NEXTscene_bench · resume 자기쓰기 부록 표(5모델×4가족) 완성 — Luna 완료($10.74, 16/20칸), 오픈 3모델(Gemma4·Qwen3.8·Molmo2)은 클러스터 GPU 여유(116/120 포화) 생기는 대로 submit_wr_open_self.sh 제출 대기.
IDLER2S · Zero-WAM · lingbot-va · MolmoBot — 4개 프로젝트 전부 24h 내 커밋·claude 문서·SLURM 0.

TL;DR

활동은 scene_bench + scene_bench_paper 두 트랙, FurnitureBench는 SLURM에만 흔적 — 커밋 55건(scene_bench 27 · scene_bench_paper 28) · work log 15건 · SLURM 253건(scene_bench 239 · FurnitureBench 14, 합산 ≈498 GPU-h). 논문 트랙(scene_bench_paper)이 어제 실험 결과(온라인 GT eval, resume grounding audit)를 appendix·본문에 활발히 반영 중이다.
resume 접지 감사 — "증거가 있으면 맞히는가, 찍는가"를 행 단위로 태깅(100행, $0): 증거가 있어도 정답률 .45(vis-pure)/.47(tagmem)뿐이고 찍어서 맞힌 행이 7% 섞여 있다. 옮기기 과제의 진짜 기제는 "처음·마지막 차이 계산"이 아니라 손목 인셋에 찍힌 개수를 직접 읽는 것(예: "2 potatoes" 인용). 방문 과제는 지나간 방을 방문으로 과대 판정(22칸 중 10칸).
oracle-plan 사례 연구로 M1(재파지가 성공을 깨는 현상)의 진짜 정체를 정정 — find는 성공한 pick을 하네스가 auto_release로 자동으로 내려놓기 때문에, "든 채 재-pick"이 아니라 "성공을 기억 못 해 다시 함"이 맞는 정의다. 텍스트 메모리(rf-v3)가 release 후 화면을 보고 "잡는 중"이라고 잘못 기록해 재-pick 비중 16.8%(blind의 2배)로 최악. multi 사슬은 첫 파지에서 막히고(10런 중 7개), 접근 자세오차는 45°를 넘는 8%에서만 결정적(그 외는 평평, 진짜 바닥은 VLA 파지율 ~32%).
routine 온라인 "도달 후 못 듦" 실패의 84% 원인의 절반을 규명 — GT의 44%(296/666)가 학습 데이터에 드문·부재 카테고리(Bread·Cloth·Tomato·Plate, 들어올림 0.06·SR 0.028)다. 흔한 카테고리(mug·fork·spoon)는 find와 동일하게 ~0.55로 들어 올린다 — "안 본 물체" 가설이 절반 확인됨.
goal 이미지 A/B v2 최종 완주 → 채택 안 함으로 결론(102칸, $57.7, McNemar p=1.0). observed 조건에서는 goal 이미지가 오히려 해로움(128스텝 소진·낙하 증가) 확인 — goal-off가 본표로 최종 확정.

프로젝트별 진행 상황

scene_bench High

Scene-level long-term memory 벤치마크(find·restore·resume·routine 4가족) — 메모리 6전략(tagmem·vis-pure·rf-v3·frames-uniform·textlog·blind) 비교 + VLA 온라인 실행 트랙(MolmoBot place_oc@10000). 대상 경로: Robotics/scene_bench(활동) · Robotics/scene-mem-gen(무활동, 마지막 문서 260908 — 사실상 폐기된 구 경로).

27Commits (+5905 / −111)

15Work Logs

239SLURM Jobs

≈498GPU-h

어제 한 일 — A. 접지·채점 감사 3편 (왜 틀리는지를 행 단위로 규명)

resume 접지 감사(analysis-resume_grounding_audit.md, single 100행, $0) — 증거 유무 × 정답을 행 단위로 태깅. 증거 있음·정답 vis-pure 34/76(.45) · tagmem 36/76(.47), 증거 없이 찍어 맞힘 7%. 옮기기 44행 중 "처음+최종 프레임 둘 다"는 오히려 1/4만 정답 — 실제 기제는 인셋에서 개수를 직접 읽는 것(정답 사례: 손목 인셋 감자 2개 → "2 potatoes"). 방문 31행은 커버리지가 완전해도 정답 .36, 과대 판정 10건(지나간 방을 방문으로 셈).
oracle-plan(GT계획) 사례 연구(analysis-oracle_case_study.md) — find 1답 2편·multi 2편·3편(statues) 총 5편을 arm 5개·턴 단위로 추적. M1(성공 직후 재-pick) 정정: find는 CARRY_FAMILIES에서 빠져 pick 성공 즉시 auto_release되므로, "든 채 재-pick"이 아니라 "성공을 기억 못 해 다시 pick"이 정의다. 32칸 M1 절대치 — rf-v3 16.8%(최악, release 후 화면을 "잡는 중"으로 오기) vs blind 7.4% vs tagmem 3.4%(최선). 접근 자세오차 실측(pick 2,892건): 45° 이내는 평평(파지율 32~38%), 45~90°에서만 붕괴(3.8%) — "자세가 메모리보다 크다"던 초기 결론을 과장으로 정정.
routine 카테고리 분석(analysis-routine_grasp_by_category.md) — 실패 84%(417/495)가 "도달 후 못 듦". GT의 44%(296/666)가 학습에 드문 카테고리(Bread 0/76·Cloth 0/16·Tomato 0/76·Plate 1/18) → 이 구간 SR .028(7/246) vs 나머지 .269(87/323). "안 본 물체" 가설 절반 확인(흔한 카테고리는 find와 동일 ~0.55).
본표 보정 재확인: find v1.0 R2구제 158/강등 5 · find v1.2 79/15 · restore 62/8 반영 완료(flash 기준 find tagmem .522 · restore tagmem .190).

어제 한 일 — B. oracle-plan(GT계획) 온라인 캠페인 중간 결과 (1,000행 시점, 잠정 보관소 생성)

목표 1,490칸(find 750 + restore 740, 5 arm 공통) — 11:32 UTC 기준 find 577/750(성공 214·.371, $38.70) · restore 441/740(성공 49·.111, $89.93). scripts/archive_oracle_plan.py로 잠정 보관소(final_results/oracle_plan_v1_260923_PARTIAL/) 생성 — 완주 전 표는 "논문에 옮기지 말 것" 배너 부착.
속도 급락: 06:42→08:16 구간 12샤드 ~35행/h → 10:17→11:17 구간 8행/h로 하락. 원인은 클러스터 포화(core 70/72) — own 8장 중 오라클 4 + 다른 세션(goalv2·rsprobe) 4, extra 풀은 타 사용자가 점유. 남은 ~470행 ETA ~2일.
1,000행 중간 표 패턴은 877행 시점과 동일: SR로는 5 arm 구별 불가(McNemar 전부 p≥.45), 차이는 효율 지표(M1·M2·M3)에 있음. multi·1단계 성공 층(find 12칸)에서만 SR 폭이 .33~.58로 벌어짐 — 최종 n이 되면 유일한 SR 분리점 후보.
모니터링 운영: 30분 Monitor 재무장 반복, 축출 3건(babysitter가 3분 내 재제출, 손실은 편 1개분씩), 오류(429·월한도·비용캡·ungrounded) 0건.

어제 한 일 — C. resume 자기쓰기 부록 + 본표 확정 (5모델×4가족 부록 표 작업)

resume 본표 완성(4모델×6전략, ≈$166) — flash 자기쓰기 tagmem .441 1위·rf-v3 .335·vis .323(오라클 1.000), 오픈 reader(32B·Gemma4·Qwen3.8) 4모델 전부 같은 순서, 교차 tag−vis 4/4 유의.
Luna 부록 채움 완료($10.74, 오류 0) — tagmem .068·rf-v3 .075·vis .050 ≈ blind .106, textlog .981. writer 요약 부정확 확인(완료 과제를 미완료로 나열, rf-v3 96/161). find v1.2도 Luna로 16/20칸 채움.
남은 빈칸: 오픈 3모델(Gemma4·Qwen3.8·Molmo2) 자기쓰기 — 클러스터 116/120 포화로 GPU 여유 대기 중(submit_wr_open_self.sh 준비 완료).

어제 한 일 — D. goal 이미지 A/B v2 최종 완주 (결론: 채택 안 함)

102칸(같은 ckpt place_oc_goal, 최신 하네스, $57.7) — on 25 vs off 26(McNemar p=1.000). observed 조건에서는 goal 이미지가 오히려 해롭다: 도달은 16 vs 16 동률인데 goal-on은 128스텝을 다 쓰고 안 놓거나(4 vs 1) 바닥에 떨어뜨림(4 vs 1).
원인 추정: 지목 프레임이 학습 goal 카메라(0.2~0.8m)보다 멀고 비스듬(1.69m·22° vs acted 1.28m·8°) — 프레임 고르기로 못 메움. 결론: tagmem goal-off가 본표, goal-on은 절제 행으로만 명시.

오늘 할 일 / 미해결 이슈

routine 본 런(682칸) 완주 감시 — 클러스터 포화로 RUNNING 세트 수 재점검 필요. 완료 후 편 난이도(LOO) 보정으로 최종 판단.
oracle-plan(GT계획) 캠페인 완주 대기(ETA ~2일) — GPU 우선순위(own 4→8 조정 여부) 사용자 결정 필요.
readwrong_find 채점 재검증 6샤드 — PENDING 상태, 완료 시 본표 추가 보정 여부 확인.
resume 자기쓰기 부록 오픈 3모델 — GPU 여유 생기는 대로 제출.
visit_rooms 총 방 수 미제공 결함 처리 — 오라클 .789→.877 영향, 처리 방식(주입 vs 측정 한계 보고) 결정 필요.
resume 손목캠+1fps 전 가족 적용 여부(비용 4.6배) — 본표 반영 vs 전용 조건 행 사용자 결정 대기.

scene_bench_paper High

scene_bench 논문 트랙 — ICLR 2027 Overleaf git bridge(6a83cc35…). scene_bench의 실험 결과를 appendix·본문에 반영하는 편집 작업. claude/ 작업 로그 미사용(Overleaf 동기화 저장소 특성상 커밋 메시지가 곧 로그).

28Commits (+8563 / −3145)

95Files Changed

4Authors

0Work Logs

어제 한 일 (커밋 메시지 기준 — keh0t0·Jaeyoon Han·Codex·Taewoong Kang 4명 공동 편집)

appendix 재구성 — "7개 핵심 주제로 집중, 대체된 자료는 보관"(15 files, +1514/−791) · 신규 appendix 분석 항목을 파란색으로 표시해 리뷰 대상 명시(4 files) · task별 memory trace + 오차 분해 표 추가(5 files, +270/−1).
레거시 메모리 figure → 실증거 트레이스로 교체(14 files, +408/−40) — scene_bench의 Finding·Resume 실행 증거(위 사례 연구·grounding audit)를 논문 figure에 반영.
Online 결과 갱신(5 files, +254/−198) — Finding execution coverage 완주분 반영.
Memory QA 논의 재구성 — 정보 요구량 중심으로 재구성(+75/−32) → 본문 축약 + 상세 비교는 appendix로 이동(+48/−37) → 이후 실질적 task 비교를 appendix에 복원(+34/−9).
Codex 커밋 3건 — 비교 이미지에서 episode·context 길이 값 추출해 표에 반영, 근사기호(≈) 제거로 표기 단순화.
Resume 분석(count-sensitive subtype)·complementary memory 증거 중심으로 Resume 절 축약(2건).
Taewoong Kang 명의 "Update on Overleaf." 커밋 9건 — 웹 에디터 동기화(diff 소규모, 일부 diffstat 없음).

오늘 할 일 / 미해결 이슈

명시적으로 남은 결정 사항 없음(진행형 appendix·Resume 절 편집) — scene_bench 쪽 미해결 항목(visit_rooms 결함 처리, resume 손목캠 반영 여부)이 정해지는 대로 본문에 반영될 것으로 예상.

FurnitureBench Medium

FurnitureSim(Isaac Gym) 기반 가구 조립 벤치. git 미연동 디렉토리(not a git repository), claude/ 문서는 260914 이후 정지 — 어제 활동은 SLURM 로그로만 확인됨.

0Commits

0Work Logs

14SLURM Jobs

≈0.4GPU-h

어제 한 일 (SLURM 로그에서 역추적 — git/claude 문서 기록 없음)

openarm2_assemble 잡 7버전 전부 FAILED — screw_extra_v13_s9201 ~ v19_s9201 순서로 14:16~22:38 KST 사이 반복 제출(각 evaluate.sh run.py --stage assemble --arm right --socket 2 --support-mode press --regrasp-insert --screw-turn 계열, gpu:1, 2~4분 만에 실패 → 뒤이어 2초짜리 summary 잡). v19 로그 tail 확인 결과 나사 조임(screw_clockwise) 단계까지 정상 진행되다가 최종적으로 RuntimeError: Assembly did not remain matched after release — 정렬해 조였는데 놓는 순간 조립이 풀림.
v19는 v13 대비 --contact-regrasp --regrasp-heading .75 --maintain-grip 옵션이 추가됨 — regrasp(다시 잡기) 방식을 바꿔가며 디버깅 중으로 추정되나, 7버전 사이의 구체적 변경점과 가설은 기록이 없어 파악 불가.
claude/context.md(마지막 갱신 260914)에는 이 "openarm2" 트랙 자체가 언급되지 않음 — one_leg 스크립트 정책(v2g, 0.983) 동결 이후의 새 작업 줄기로 보임.

오늘 할 일 / 미해결 이슈

작업 로그 부재 — claude/YYMMDD/*.md 기록 없이 7회 SLURM 반복 실패만 있음. 다음 세션에서 원인·시도 이력을 문서화 권장.
"Assembly did not remain matched after release" 근본 원인 규명 — regrasp 정렬 오차인지 release 타이밍 문제인지 확인 필요.

활동 없는 프로젝트

SLURM 요약 — scene_bench (239건, ≈498 GPU-h)

RUNNING (5)

Job ID	프로젝트	실행 명령	GPU	상태	경과	노드	QOS
150610	scene_bench	rtmain_main_s0 — routine 온라인 본 런(main)	1	RUNNING	5:07:39	n58	core-extra
150757	scene_bench	rtmain_main_s4 — routine 온라인 본 런(main)	1	RUNNING	5:07:09	n63	core-extra
151387	scene_bench	oracle_restore_s3 — GT계획 restore 캠페인	1	RUNNING	6:44:23	n57	core-own
152307	scene_bench	oracle_restore_s0 — GT계획 restore 캠페인	1	RUNNING	3:26:08	n3	core-own
152340	scene_bench	oracle_find_s3 — GT계획 find 캠페인	1	RUNNING	2:56:07	n38	core-own

PENDING (8) — 클러스터 포화(own cap / extra 경합)

완료 · 선점 · 취소 이력 (226건, 잡 이름별 집계, GPU-h 상위 15 + 기타)

Job ID	프로젝트	실행 명령	GPU	상태	QOS
151520	scene_bench	readwrong_s0 — find v1.2 채점 재검증(6샤드 중 1)	1	PENDING	core-extra
151521	scene_bench	readwrong_s1 — find v1.2 채점 재검증	1	PENDING	core-extra
151522	scene_bench	readwrong_s2 — find v1.2 채점 재검증	1	PENDING	core-extra
151523	scene_bench	readwrong_s3 — find v1.2 채점 재검증	1	PENDING	core-extra
151524	scene_bench	readwrong_s4 — find v1.2 채점 재검증	1	PENDING	core-extra
151525	scene_bench	readwrong_s5 — find v1.2 채점 재검증	1	PENDING	core-extra
152253	scene_bench	rtmain_main_s1 — routine 온라인 본 런(main)	1	PENDING	core-extra
152410	scene_bench	rtmain_main_s3 — routine 온라인 본 런(main)	1	PENDING	core-extra

실행 명령(그룹)	프로젝트	설명	상태 분포	GPU-h(합)
oracle_restore	scene_bench	GT계획(oracle-plan) restore 캠페인	COMPLETED 20CANCELLED 11PREEMPTED 1	138.0
rtmain_main	scene_bench	routine 온라인 본 런(main 세트)	COMPLETED 11PREEMPTED 12TIMEOUT 1	117.1
oracle_find	scene_bench	GT계획(oracle-plan) find 캠페인	COMPLETED 12PREEMPTED 7CANCELLED 2	78.5
goalv2_off	scene_bench	tagmem goal이미지 A/B v2 최종(off, 채택)	COMPLETED 10CANCELLED 2PREEMPTED 2	36.1
goalv2_on	scene_bench	tagmem goal이미지 A/B v2 최종(on, 미채택)	COMPLETED 11CANCELLED 2PREEMPTED 1	32.8
rtmain_tagmem	scene_bench	routine 온라인 본 런(tagmem 세트)	COMPLETED 15CANCELLED 2PREEMPTED 3	30.2
rescue_restore_main	scene_bench	R2 구제행 온라인 재실행(restore·main)	COMPLETED 6PREEMPTED 3	10.0
rspilot_6187	scene_bench	resume 손목캠+1fps 파일럿(매니페스트 61871a3e)	PREEMPTED 6COMPLETED 4CANCELLED 1	6.5
v12fill_find_holes	scene_bench	find 온라인 v1.2 빈칸 보충	PREEMPTED 4COMPLETED 4CANCELLED 1	5.0
rsprobe_press	scene_bench	resume 누름(press) 판정 프로브	CANCELLED 3COMPLETED 3	2.7
rsprobeF	scene_bench	resume 지각 프로브(F)	CANCELLED 6COMPLETED 4PREEMPTED 1	2.4
rooms_cosmosr2	scene_bench	visit_rooms 교차 모델(Cosmos R2)	COMPLETED 1	2.0
rsprobeD	scene_bench	resume 지각 프로브(D)	PREEMPTED 2COMPLETED 3	1.9
rsverify_6187	scene_bench	resume 매니페스트 프리플라이트 검증	COMPLETED 3	1.1
rooms_qwen3vl32b	scene_bench	visit_rooms 교차 모델(Qwen3VL-32B)	COMPLETED 1	0.7
기타 30개 그룹	scene_bench	resume 교차셀(xwr*)·rooms 모델별·자기쓰기 파일럿 등 소규모 잡(대부분 각 1~3개 COMPLETED)	COMPLETED 38PREEMPTED 3CANCELLED 4	9.2

SLURM 요약 — FurnitureBench (14건, ≈0.4 GPU-h)

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
150311	FurnitureBench	openarm2_assemble — screw_extra_v13_s9201 조립 시도	1	FAILED	00:02:47	n65
150312	FurnitureBench	screw_v13_summary — 결과 요약	0	COMPLETED	00:00:02	n34
150403	FurnitureBench	openarm2_assemble — screw_extra_v14_s9201 조립 시도	1	FAILED	00:03:34	n74
150404	FurnitureBench	screw_v14_summary — 결과 요약	0	COMPLETED	00:00:02	n59
151058	FurnitureBench	openarm2_assemble — screw_extra_v15_s9201 조립 시도	1	FAILED	00:03:25	n45
151061	FurnitureBench	screw_v15_summary — 결과 요약	0	COMPLETED	00:00:02	n44
151086	FurnitureBench	openarm2_assemble — screw_extra_v16_s9201 조립 시도	1	FAILED	00:03:52	n42
151087	FurnitureBench	screw_v16_summary — 결과 요약	0	COMPLETED	00:00:01	n43
151097	FurnitureBench	openarm2_assemble — screw_extra_v17_s9201 조립 시도	1	FAILED	00:03:52	n51
151099	FurnitureBench	screw_v17_summary — 결과 요약	0	COMPLETED	00:00:02	n33
151108	FurnitureBench	openarm2_assemble — screw_extra_v18_s9201 조립 시도	1	FAILED	00:03:21	n48
151109	FurnitureBench	screw_v18_summary — 결과 요약	0	COMPLETED	00:00:02	n44
151121	FurnitureBench	openarm2_assemble — screw_extra_v19_s9201 조립 시도(+contact-regrasp)	1	FAILED	00:04:05	n57
151122	FurnitureBench	screw_v19_summary — 결과 요약	0	COMPLETED	00:00:01	n51