Daily Progress — 2026-09-15

오늘의 우선순위

DECISION scene_bench routine tagmem 정체를 풀 writer 재설계(청크당 샘플 프레임 4→16) 3전략 재ingest(≈$150) 승인 대기. 부수적으로 resume 이미지 비용절감 프로브(<$0.02)와 InternVL 7칸(max_dynamic_patch=6) 재실행 여부도 결정 필요 — 셋 다 사용자 승인이 막고 있음.
BLOCKER R2S ZED SVO strict capture가 선언 104프레임 vs 관측 103프레임 EOF로 여전히 REJECTED. 원본 Cartesian action 재현(lift/stack)도 계속 FAIL. fail-closed 게이트 2개 모두 미해소 — 어제 7.5시간 자율실행(388턴)에도 핵심 병목은 안 풀림.
NEXT FurnitureBench LingBot-VA 부진 원인이 데모 정책 성공률 상한(~0.5) + 데이터량 부족(344ep×291스텝 반복)으로 정량 확정됨. 다음 단계는 held-out teacher-forced 진단(overfitting 확정, 1GPU 단시간) → v2 스크립트로 1000ep 재수집(~10-11 GPU-h). desk/lamp/table 확장 코드 10파일도 미커밋 상태로 방치 중.
DECISION lingbot-va 이번 기간 활동은 없으나, context.md가 9/8에 이미 COMPLETED된 job 112772를 아직 "RUNNING"으로 표기 — 최소 1주일째 문서 stale. 학습은 정상 종료(exit 0, 10:24:14)됐는데 후속 평가 배선 작업이 4일 이상 그대로 방치됨. 문서 정합성부터 정리 필요.
NEXT scene_bench Qwen3-VL-32B/InternVL3.5-8B 신규 오픈모델 4가족 평가는 완주(~15 GPU-h, $0)했지만 InternVL은 "동일조건" 원칙 위반으로 본표 제외 확정 — Overleaf 반영은 이미 끝났으니, 남은 미커밋 실작업(tagmem.py 등)이 있는지 재확인만 하면 됨.

TL;DR

대상 9개 프로젝트 중 3개만 활동(scene_bench / FurnitureBench / R2S), 나머지 6개(MolmoBot·Zero-WAM·RoboTwin·AI899·flex-pi·lingbot-va)는 6~23일째 완전 정지. 현재 SLURM RUNNING 작업은 0건(squeue 확인).
scene_bench: 커밋 5건 + SLURM 13건(~15.3 GPU-h). routine "방 오류" 원인을 writer 어휘 누락 43%로 확정하고 쓰기v7 도입해 tagmem loc .319→.513로 개선(비오라클 1위 유의). Qwen3-VL-32B·InternVL3.5-8B 신규 모델 4가족 평가 완주.
FurnitureBench: SLURM 18건(~2.1 GPU-h, policy harness). LingBot-VA 부진 원인을 성공률 상한(~0.5)+데이터 부족으로 정량 진단. 공식 커밋 0건이나 desk/lamp/table 확장 코드 10파일 uncommitted.
R2S: SLURM 71건(대부분 <1분 진단잡, ~0.26 GPU-h) — SVO strict rejection 지속, whole-scene 재구성(189만pt)은 성공했지만 temporal consensus 융합은 양쪽 pilot 모두 FAIL(-21~-28pp). git 저장소가 아니라 reports/*.md 감사 문서로만 추적.
lingbot-va는 활동 없음에도 context.md의 job 상태 정보가 stale(완료된 job을 RUNNING으로 표기)한 게 발견됨 — 문서 신뢰성 이슈로 별도 플래그.

프로젝트별 진행 현황

scene_bench High

Scene-level long-term memory 벤치마크(SceneMem-Bench) — find/restore/resume/routine 4가족, tagmem(ours) 등 전략 비교 + 논문 작업. (scene-mem-gen · scene-mem-datagen 경로는 이번 기간도 완전 휴면, 9/8 인계 완료 후 정지)

5커밋 (전부 9/14)

13SLURM 작업

.319→.513routine tagmem loc (v7)

~15.3GPU-h

어제 한 일

routine "방 오류" 원인 확정 — GT 수납처(side table/laundry basket) 743건 중 43%가 writer 어휘(SURFACES 17개, SURFACES_ROUTINE 미포함)에 없어 태깅 실패. 쓰기v7(어휘 확장 + 결정론 장부 + 상태차 추론) + 읽기v8 도입 → routine tagmem loc .319 → .513/.494(vs frames-uniform .432 p=.002, rf-v3 .442 p=.002, 비오라클 1위 유의). resume은 반증선 미달로 v7 폐기, v5(.075) 유지.
5모델(flash/luna/qwen/cosmos/molmo2) 확장 완료 — API $36.5 + luna $4.86. cosmos job(126374)이 컨텍스트 초과로 죽어 ledger 크기 가드 추가 후 재제출(126675)로 완료.
Qwen3-VL-32B + InternVL3.5-8B 신규 오픈모델 추가로 4가족×8모델 그리드 완주(GPU only, API $0, ~15 GPU-h). 결론: 8B 실패는 크기 문제가 아니라 "쓰기 병목"(오라클은 32B에서 오르지만 비오라클은 그대로). InternVL은 컨텍스트 제약으로 전처리를 축소해야 해 "동일조건" 원칙 위반 → 본표 제외, 부록 보관.
D3 분류를 "Direct 단일 은닉"으로 재정의, cell 리포트/Overleaf Table 1 재생성(재채점 없음, 재집계만).
커밋 5건: InternVL 부록 이동(360fec3) · open2 모델 이미지 완료(313d318) · Qwen32B+InternVL 4가족 완료(80f7a39) · D3 재정의+Table1 재생성(d8999bd) · 두 오픈모델 vLLM 서빙 세팅 문서화(9673f5e, max_dynamic_patch=1 이슈 해결).

SLURM

COMPLETED 13

tagmem v7 pilot(routine/resume/find) 4건 · VLM 백엔드 smoke(Qwen3-VL-32B/InternVL3.5-8B) 3건 · tagmem w7 write-variant 2건 · open2 대형 4모델×과제 평가 4건(개별 3~4.5시간, 여기서 ~15 GPU-h 대부분 발생)

오늘 할 일 / 미해결 이슈

resume writer 샘플링 구조 변경(청크당 프레임 4→16) 3전략 재ingest(≈$150) 승인 대기
resume 이미지 비용절감(모자이크 vs 해상도 축소) 프로브(<$0.02) 승인 대기
InternVL 7칸(max_dynamic_patch=6) 재실행 여부 사용자 결정 보류
Overleaf Table 1 / restore 분해표는 이미 갱신 완료(참고용)

FurnitureBench High

FurnitureSim(Isaac Gym) 위 가구 조립 벤치 — 정책 하네스(policy harness) 평가 + LingBot-VA 학습데이터 진단

0공식 커밋 (uncommitted diff 존재)

18SLURM 작업

~2.1GPU-h

4/5Plan Phase 완료

어제 한 일

LingBot-VA 부진 원인 정량 진단(claude/260914/analysis-lingbot_training_data_diagnosis.md): one_leg 데모 344ep 중 삽입+나사 구간이 전체 프레임의 73.5%(나사만 55.7%, 291±88 step, 그리퍼 토글 median 13회/ep). LingBot action loss 0.0294→0.0074(0~5000 step) 단조 감소했으나 성공률은 3000 step 이후 정체(2/10→8/51) → 암기(overfitting) 의심(held-out 미측정, 미확정).
성공률 상한 비교: v2 스크립트(신규, 데모 미사용) 0.983 ≫ stock 데모 0.45–0.53 > pi0.5 b128 0.36 > pi0.5 단독 0.24 > LingBot 단독 0.157 > LingBot all_low 0.133. 결론: 데모 정책 품질 상한(~0.5) + 데이터량 부족(344ep×291회 반복) + LingBot 고유 제약(128² 입력, proprio 없음)의 복합.
SLURM 정책 하네스: stool/drawer probe → fixture check(2회 FAIL 후 check_fixture_settle.sh로 수정) → round_00~02(v1/native_v3) → v4 round_00/01 → v4 heldout(10-seed×2task) 순서로 완료.
desk/round_table/square_table/lamp 부품에 v2 스크립트 정책 확장 작업 진행 중 — 10파일 수정(+114/-20줄), 신규 furniture/parts/leg_v2.py. 미완료·미커밋.

Plan.md — Phase 1~4 ✅, Phase 5 🔄

Phase1(sim bring-up)✅ / Phase2(worker검증)✅ / Phase3(4종 300ep+pi0.5)✅ / Phase4(all_low+LingBot비교)✅
Phase5 🔄 — 서브트랙(LingBot all_low)만 부분 완료, 본목표인 "데모 1000ep 증량"·"다부품 재평가"는 미착수

SLURM

COMPLETED 16 FAILED 2

stool/drawer probe·fixture check 6건(FAILED 2건은 fixture v1) · round_00~02(v1/native_v3) 6건 · v4 round_00/01 4건 · v4 heldout(10-seed) 2건, 개별 21~25분

오늘 할 일 / 미해결 이슈

held-out teacher-forced 진단(overfitting 확정, 1GPU 단시간)
v2 스크립트로 1000ep 재수집(~35-40s/ep, 10-11 GPU-h) → pi0.5·LingBot 재학습
LingBot 224² config 검토
desk 확장 작업 마무리 + 커밋("stock 파지 빈손/다리 바닥 +4.5mm 미판정" 이슈 조사 중)
worker pod Vulkan 주입 여부 미확인(누적 이슈)

R2S High

DROID stacking 에피소드 1개를 fail-closed 방식으로 감사(audit)하는 파이프라인 — 스테레오 재구성·컨트롤러 fit·씬 재구성·렌더 검증. git 저장소 아님, .omx/notepad.md 워킹메모리 + reports/*.md 감사 문서로 추적.

71SLURM 작업

60/7/4완료/실패/취소

~0.26GPU-h (대부분 <1분)

RMSE 0Source-IK causal 진단

어제 한 일 (9/14 04:20~11:48 UTC, 7.5시간 연속 자율실행·388턴. 오늘 9/15은 재개 전)

SVO strict capture 여전히 REJECTED(선언 104프레임 vs 관측 103프레임 EOF). export_selected_stereo(123495)로 21쌍 export는 성공했으나 close-grasp 구간 depth 누락 우려로 range를 100–3000mm로 재설정한 재실행(123828 실패 → 124249 성공).
SGBM/기하 재구성(125251, 125281): orange/green/table median·p95 오차 1.5~8.9mm.
replay 체인(125421/125556/125567/125539): 이벤트·qpos/qvel 비트단위 재현 확인(회귀 검증), 접촉 정상력 ~0.98N. 단 원본 Cartesian action 재현은 여전히 FAIL(lift/stack 실패, 125568).
하이브리드 컨트롤러 fit(125316): EE 오차 fit 7.43mm / holdout 3.39mm. 그리퍼 지연 fit(125326): 80ms 지연, width RMSE 1.11mm.
Source-IK causal 진단(125733/125772급 후속 진단): fit/holdout RMSE 0(bitwise exact) — 어제의 핵심 성과.
Whole-scene 재구성(테이블 ROI → 전체 씬으로 전환, 사용자 요청): 스냅샷(189만 포인트, 20.7만 삼각형) 완료. Temporal consensus 융합은 양쪽 pilot 모두 FAIL(net fill -21~-28pp).
LAS2-M 대체 스테레오 모델 도입(Foundation Stereo는 Google Drive quota로 획득 실패) — 채널 mismatch(384 vs 48) 수정 후 완료했으나 SDK 대비 coverage 열위로 미채택.

Plan / Score — reports/final.md 스코어보드

PASS 2건(timestep convergence, replay chronology) · FAIL 3건(original-action accuracy, contact-event convergence, validation initial pose green) · 나머지 LIMITED/UNVERIFIABLE/COMPLETE-not-adopted
g001_closure.md: G001 PARTIAL_PASS_WITH_UNRESOLVED_GATES — 캘리브레이션·contact identity·blind-test 게이트 미해결

SLURM

COMPLETED 60 FAILED 7 CANCELLED 4

스테레오 export/SGBM 재구성 5건 · replay 회귀검증 체인(selected/sequence/validation/cartesian) 15건 · 컨트롤러 fit·캘리브레이션·민감도 진단 11건 · 씬 렌더/텍스처/검증 스코어링(render_cycles·LPIPS·visual metrics) 40건 — 개별 실행시간 대부분 2초~1분, 최장 6분51초

오늘 할 일 / 미해결 이슈

SVO 104/103 strict rejection 미해결
Cartesian original-action lift/stack 실패 원인 미규명
Foundation Stereo 가중치 획득 차단 — 대안 확보 필요
Cycles 렌더 시각품질(테이블 구멍/이중 그림자) 미통과
temporal consensus 재설계 필요

활동 없음

SLURM 요약 테이블

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
123495/124249 · 123766/125251 · 123828	R2S	export_selected_stereo.sbatch / reconstruct_sgbm.sbatch (스테레오 export + SGBM 재구성)	0~1	COMPLETED 4 / FAILED 1	10s~26s	다수
123768/123801, 125262~125265, 125421/125488/125538/125539/125556/125567, 125537/125557/125568 (15건)	R2S	replay_selected / replay_sequence / replay_validation / replay_cartesian_action.sbatch (회귀검증 체인)	0~1	COMPLETED 11 / FAILED 1 / CANCELLED 3	0s~20s	다수
125279/125281/125299/125305/125316/125326/125342, 125343_0~2, 125323 (11건)	R2S	mount_fit / fit_geometry / fit_controller / fit_hybrid_controller / refine_controller_fit / gripper_lag_diagnostic / mass_sensitivity / observe_object_pose.sbatch	0~1	COMPLETED	3s~1m17s	다수
125286~125343 구간 중 렌더/텍스처/채점 계열, 125387~125568 구간 (40건)	R2S	render_cycles* / render_validation_* / score_visual_metrics / score_lpips / fuse_table_texture / scene_env_replay / hybrid_scene_replay.sbatch	0~1	COMPLETED 34 / FAILED 5 / CANCELLED 1	2s~6m51s	다수
125354/125355, 125467/125468, 125477/125478 (6건)	FurnitureBench	harness_stool_probe / harness_drawer_probe / harness_*_fixture(_v2) (probe + fixture check)	1	COMPLETED 4 / FAILED 2	15s~4m	다수
125384/125385, 125425/125430, 125451/125452 (6건)	FurnitureBench	harness_stool / harness_drawer (20260914_v1 → native_v3, round_00~02)	1	COMPLETED	5m42s~8m2s	다수
125474/125475, 125485/125486 (4건)	FurnitureBench	harness_stool / harness_drawer (native_v4, round_00~01)	1	COMPLETED	6m11s~7m53s	다수
125500/125508	FurnitureBench	harness_drawer / harness_stool (native_v4 heldout, 10-seed×2task)	1	COMPLETED	21m10s~25m7s	다수
125313/125314/125315/125321	scene_bench	tmv7_rt / tmv7_rs / tmv7_fd (tagmem v7 pilot — routine/resume/find shard)	0	COMPLETED	12s~8m57s	다수
125483/125487/125496	scene_bench	smk_qwen3vl32b / smk_internvl35_8b (vLLM 신규 백엔드 smoke test)	1	COMPLETED	50s~9m25s	다수
125493/125494	scene_bench	tmw7_rs / tmw7_rt (tagmem w7 write-variant, resume/routine shard)	0	COMPLETED	21m2s~22m5s	다수
125506/125507/125509/125510	scene_bench	o2t1_qwen3vl32b / o2t23_qwen3vl32b / o2t1_internvl35_8b / o2t23_internvl35_8b (open2 4모델 find/restore/resume/routine 본평가)	1	COMPLETED	3h9m18s~4h33m49s	다수

총 102건(R2S 71 / FurnitureBench 18 / scene_bench 13) · 유사 반복 job은 스크립트 단위로 묶어서 표시 · GPU-h 합계 ~17.7(scene_bench 15.3 + FurnitureBench 2.1 + R2S 0.26) · 현재 RUNNING/PENDING 작업 없음(squeue 확인) · MolmoBot / lingbot-va / Zero-WAM / AI899 / RoboTwin / flex-pi는 이번 기간 SLURM 작업 없음.