Daily Progress — 2026-09-11

오늘의 우선순위

BLOCKER scene_bench Letsur API 월간 지출 한도 초과(429)로 find v2 재측정(job 117491)이 70/100편에서 중단됨. 후속 job(D, restore 질의 힌트 release, 117493)이 dependency 대기 중 PENDING. 한도 상향/리셋 확인 후 A 재제출(≈$16) → C → D 순서로 재개 필요.
BLOCKER MolmoBot press 벤치 평가(rollout_press.sh)가 75회 제출 중 71회 CANCELLED(선점). 완주 3건뿐 — QOS(`extra`로 추정)를 `own`으로 바꾸거나 self-requeue 로직 점검 필요. 현재 GPU 시간이 선점 루프에 소모되고 있음.
DECISION FurnitureBench CaP-X(gpt-6-astra) one_leg 4차 평가 3/30 성공 확정. 프롬프트에 채점 허용오차(구멍 축 ≤5mm) 명시 후 재실행 시 7건의 "조건부 완료 조기종료"가 나사 루프로 전환될 가능성 — 상한 10/30 기대. 1 GPU·60분 비용, 재실행 승인 대기.
NEXT lingbot-va RoboTwin 43/7 split held-out 평가(stamp_seal 등) 결과가 claude/ 작업 로그 없이 SLURM·git status로만 확인됨. 문서화 규칙상 로그/context.md 갱신 필요 — 내일 리포트 정확도에 영향.
NEXT scene_bench tagmem D1("내가 옮긴 것") 실패 12/17건이 쓰기 정확성 결함(배치 결과 미기록·인스턴스 혼동)으로 귀결 — 인스턴스 번호를 프롬프트 지시 대신 결정론적 코드 규칙(#k)로 구현하는 방향 승인 대기.

TL;DR

scene_bench가 어제도 가장 밀도 높은 하루(커밋 8건, SLURM 39건, 실험 로그 6개) — tagmem 쓰기 축출 결함 해제로 loc +.139(p=.0094) 확정, resume 6모델 격자 완성, multi 셀 해석을 "VLA 한계"에서 "메모리×결합×예산(조기 done)"으로 재정정.
FurnitureBench는 CaP-X(LLM 코드 정책) × FurnitureSim 통합을 완주 — gpt-6-astra one_leg 0.100(3/30), 포팅 결함 6개 규명 끝에 에이전트가 나사 조임을 스스로 합성해 성공(pi0.5 0.36과 비교 p=0.017, LingBot 0.133과는 동급).
MolmoBot은 press 벤치 평가가 선점에 막혀 75회 중 71회 취소 — 성과보다 인프라 이슈가 두드러진 하루.
lingbot-va는 RoboTwin held-out task(stamp_seal) eval을 완료했으나 문서화가 비어 있음 — git status/SLURM 교차 확인으로만 포착.
Zero-WAM·AI899·RoboTwin(hub)·flex-pi·tau-0-wm·scene_bench_paper는 지난 24시간 활동 없음.

프로젝트별 진행 현황

scene_bench High

Scene-level long-term memory 벤치마크 (SceneMem-Bench) — find/restore/resume/routine 4가족, 메모리 전략 비교 + 논문 작업

8커밋

39SLURM 작업

6작업 로그

~$50API 지출(추정)

어제 한 일

tagmem v5/v6 파일럿(find 20편, 누적 $7.97) — 쓰기 이미지 축출이 하네스 결함(`img_cap=8`로 100/100편이 8장으로 깎임)임을 확인, 해제만으로 loc .475→.614(짝비교 20승6패, p=.0094). 프롬프트만 바꾸면 오히려 악화(−.069) — 개선 원천은 순전히 축출 해제. v6(인스턴스 번호 규칙)은 writer 확률성(같은 입력 재실행 Jaccard 0.44)에 묻혀 채택 보류.
통합 메모리 6전략 진단 — find/restore/resume/routine 전 가족에서 전략 실패가 "쓰기 시점의 되돌릴 수 없는 결정" 하나로 설명됨. tagmem 기권의 97.5%가 쓰기 실패(검색 실패 0%). 판단을 안 하는 frames-uniform이 8B 3모델 전부에서 비오라클 1위.
online GT vs 실행 영상 대조 — multi 셀(S1/S2) 해석 정정: "VLA 체이닝 한계"가 아니라 물체 단위로는 저하 없음(textlog direct .43→multi .44). 진짜 원인은 조기 `done` 선언(답 2개 중 1개만 든 86행 중 58행이 예산 절반 남기고 스스로 종료). 데이터셋 surface 필드 불일치(1.7%, 채점엔 무영향)도 발견.
writer 프롬프트 전수 검수 — find/restore 전용 지시("병합하라", "최신 위치만")가 resume·routine을 구조적으로 깎아먹는 것 확인 → v2 프롬프트 + 편종류별 힌트로 재설계, flash-3.7 resume에서 rf-v3 .056→.143(blind 위로 올라섬).
resume 6모델 격자 완성(API 3 + 오픈 3, $0) — 오라클이 모델 계급을 그대로 따름(.789→.149), 오픈 VLM에서는 이미지 메모리(vis-pure)가 4/6 모델에서 1위 (find에서는 flash급 전용이었음).
type1 v2 재측정 제출(find+restore) — restore 47편 완료($23.01), find는 70/100편에서 API 월 한도(429) 초과로 중단.

SLURM

COMPLETED 33 PREEMPTED 6 PENDING 1

온라인 eval 워커 23건, tagmem 파일럿 3건, resume v2p(오픈 3모델) 3건, resume shards 4건, type1 v2 2건 등 · 총 ~65 GPU-h

오늘 할 일

API 한도 회복 확인 후 find v2 재측정 재개(A 재제출 ≈$16 → C → D release ≈$25)
tagmem D1 쓰기 정확성 보강(인스턴스 #k 결정론 규칙, 배치결과 명시) — 승인 대기
writer v2 전 모델·가족 재측정 여부 결정(flash-3.7 기준 ≈$115)
통합 메모리 설계(비대칭 이중 채널: 행동=텍스트 append-only, 관찰=이미지 고정률) 구체화

FurnitureBench High

FurnitureSim(Isaac Gym) 위 가구 조립 벤치 — pi0.5 / LingBot-VA / CaP-X(Code-as-Policy) 비교

0.100CaP-X 최종 SR

8SLURM 작업

6포팅 결함 수정

2작업 로그

어제 한 일

CaP-X × FurnitureSim 통합 완주 — Isaac Gym(py3.8) ↔ CaP-X(py3.10) 2-프로세스 RPC 브릿지, OSC delta 서보, privileged API(get_target_assembly 등) 구현. 하루 동안 "업데이트" 27회의 디버깅 루프(결함 1~6, 파지 측 규칙 캘리브레이션 q7≈yaw+2.06 등)를 거쳐 저녁에 첫 조립 성공.
gpt-6-astra one_leg 4차 평가 최종 3/30 = 0.100(job 117430) — vs pi0.5 0.36 (p=0.017), vs LingBot 0.133 (p=1.00, 동급). 1~3차 0/30은 전부 환경 포팅 결함이었음이 규명됨(벤치 수치로 쓸 수 없음).
실패 유형 30trial 전수 분류: 다리 넘어짐 14, 자체 완료 판정 조기종료 7(채점 허용오차 미명시로 7~8mm를 완료로 오판), 이탈 4, 성공 3, 재생 시 성공 2(물리 비결정성).
Graph-as-Policy / Harness VLA / Show-Harness / ENPIRE 4개 방법론 조사 및 FurnitureBench 적합성 재평가 — 1차 예측("GaP 천장=scripted 0.5")을 스크립트가 open-loop임을 코드로 확인 후 정정, ENPIRE 계열이 삽입 병목에 가장 적합(0.9+ 가능성)이라고 결론 수정.

SLURM

COMPLETED 8

CaP-X astra 30-trial 평가 5건(1~4차+재시도) + 계측 재생 summarize 2건 + egress 테스트 1건 · 총 ~4.7 GPU-h

오늘 할 일

프롬프트에 채점 허용오차(구멍 축 ≤5mm, cos≥0.94) 명시 후 30 trial 재실행 — 상한 10/30 기대
다리 넘어짐 14/30: 멀티턴 관측 피드백 또는 max_steps 3000→6000 검토
30 trial 계측 재생(사실상 완료) TSV로 리포트 안착 지표 표 갱신
lamp/round_table/cabinet 가구별 프롬프트 분기, 다부품은 기본 예산(1300/1500)으로 재평가

MolmoBot Medium

pi0.5 / MolmoBot × MolmoSpace finetuning — press button 벤치 평가 중 (작업 로그 없음, git/SLURM 교차 확인)

76SLURM 작업

71CANCELLED(선점)

4완주

0작업 로그

어제 한 일 (claude/ 문서 없음 — git status·SLURM 기준 재구성)

press 벤치 평가(`rollout_press.sh`) 75회 제출, 71회 CANCELLED(선점), COMPLETED 3 · PREEMPTED 1. 완주분 2건은 4h25~27m 소요.
학습 코드 다수 미커밋 수정 중: `dataset.py`, `dataset_openpi.py`, `eval/eval.py`, `eval/policies/pi.py`, `prompt_templates.py`, `train_openpi_pytorch.py` (MolmoBot·MolmoBot-Pi0 양쪽), `pyproject.toml`/`uv.lock` 변경.
`tmp/press_compare.py`, `tmp/press_eval_keeper.sh` 신규 추가 — 선점 반복에 대응하는 재시도 래퍼로 추정.
SLURM job 115134(`train_molmobot_goal.sh`, 8 GPU own, 7h58m) 완료.

SLURM

CANCELLED 71 COMPLETED 4 PREEMPTED 1

총 ~77.6 GPU-h(선점분 포함, 대부분 0초 소진) — 인프라 이슈가 어제 활동의 대부분

오늘 할 일

press 벤치 QOS 재검토 — `extra`로 추정되는 제출을 `own`으로 전환하거나 self-requeue 로직 점검(71/75 취소는 비정상적으로 높음)
context.md 기준 미해결 최우선: NextTo 무변화 원인 규명(파지 실패 vs 배치 오류 분류)
open 습득 갭(물체 단위로만 전이) 후속 — 서랍장 외 물체로 확장 검증

lingbot-va Medium

LingBot-VA(Wan2.2 기반 video-action world model) — 트랙 A: RoboTwin 43/7 split 평가 (작업 로그 없음)

2SLURM 작업

5h04mstamp_seal eval

100영상 생성

0작업 로그

어제 한 일 (claude/ 문서 없음 — git status·SLURM 기준 재구성)

RoboTwin held-out 7-task 중 stamp_seal eval 실행(ckpt step 32000, 100 ep) — job 115898 완료(5h04m), `RoboTwin/eval_result/stamp_seal/LingBot_VA/...step32000_pnpprompt/`에 100편 영상 생성.
eval 관련 스크립트 다수 신설(미커밋): `evaluation/robotwin/summarize_seen43.py`, `eval_polict_client_openpi.py` 수정, `script/{download,eval,train}_robotwin_seen43.sh`.
`wan_va/configs/`에 furniture·robotwin 관련 config 다수 추가(`va_furniture_all_*`, `va_robotwin_seen43_*`) — FurnitureBench 트랙과 RoboTwin 트랙 양쪽 학습 설정 정리로 추정.
(메모리 기준) 이 작업은 held-out 7-task 평가 시리즈의 연속으로, 전체 평균이 Zero-WAM 논문 baseline(17.45%) 대비 +14.75pt 초과한 것으로 기록됨.

SLURM

COMPLETED 1 CANCELLED 1

`eval_robotwin_seen43.sh 32000 100 0 stamp_seal` · 1 GPU · ~5.1 GPU-h

오늘 할 일

문서화 누락 보완 — RoboTwin 43/7 split 평가 결과를 claude/ 로그 + context.md에 반영(규칙상 필수)
held-out 7-task 전체 완주 확인, 대표 checkpoint step(4k~32k) 선택 결정
트랙 B(RoboCasa post-training)는 latent 추출 스크립트 부재로 여전히 미시작

활동 없음

SLURM 요약 테이블

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
117430	FurnitureBench	eval_capx_furniture.sh one_leg gpt-6-astra 30 4 (4차, 성공 3/30)	1	COMPLETED	1h00m	n0
117337 / 117063 / 117038	FurnitureBench	eval_capx_furniture.sh one_leg gpt-6-astra 30 4 (1~3차, 0/30)	1	COMPLETED	18m~1h11m	n2/n48/n42
117532 / 117533	FurnitureBench	summarize_furniture_trials.sh (30trial 계측 재생)	1	COMPLETED	50m~1h00m	n2/n5
117038	FurnitureBench	EGRESS_TEST curl → gw.letsur.ai (worker egress 점검)	0	COMPLETED	<1m	-
117109 / 117124	scene_bench	run_v1_final_shards.sh gemini-3.7-flash tagmemv5_A/B (축출 해제 파일럿)	0	COMPLETED	8m~17m	n39/n20
117093	scene_bench	run_v1_final_shards.sh tagmemv5_A (extra 선점 → own 재제출)	0	PREEMPTED	11m	n62
117511	scene_bench	run_v1_final_shards.sh tagmemv6_C (인스턴스 규칙 v6 파일럿)	0	COMPLETED	25m	n63
117491 / 117492	scene_bench	run_v1_final_shards.sh type1v2_flash37_find/rest (월 한도로 find 중단)	0	COMPLETED	1h30~1h46m	n17/n30
117493	scene_bench	run_v1_final_shards.sh rqh2_flash37 (restore query hint release)	0	PENDING	-	-
116240/116241/116242	scene_bench	serve_eval_vllm_resume.sh (qwen3vl-8b / cosmos-r2-8b / molmo2-8b, resume v2p)	1	COMPLETED	1h46m~3h56m	n0/n3/n8
115865~115866	scene_bench	run_resume_shards.sh gemini-3.7-flash resume_v2p_flash37 + env_letsur	0	COMPLETED	22m~2h03m	n2/n55
115796	scene_bench	tmp/run_measure_support.sh (GT surface 실측 검증)	1	COMPLETED	4m	n23
(다수 23건)	scene_bench	run_online_worker.sh (online exec-SR 워커)	0~1	COMPLETED 19 / PREEMPTED 4	평균 ~2h	다수
115898	lingbot-va	eval_robotwin_seen43.sh 32000 100 0 stamp_seal	1	COMPLETED	5h04m	n82
115897	lingbot-va	eval_robotwin_seen43.sh 32000 100 0 stamp_seal (취소)	1	CANCELLED	12s	n79
115134	MolmoBot	train_molmobot_goal.sh (8 GPU own)	8	COMPLETED	7h58m	n3
116651/116652	MolmoBot	rollout_press.sh (완주분)	1	COMPLETED	4h25~27m	n31/n36
(다수 71건)	MolmoBot	rollout_press.sh (선점 반복 제출)	1	CANCELLED	0초 (즉시 선점)	다수

총 125건(성공 실행 위주로 대표 행만 표시, MolmoBot `rollout_press.sh` 71건 CANCELLED·scene_bench `run_online_worker.sh` 23건은 묶어서 표시) · Zero-WAM / AI899 / RoboTwin(hub) / flex-pi / tau-0-wm / scene_bench_paper는 SLURM 작업 없음.