Daily Progress — 2026-05-20

오늘의 우선순위

HIGH memer — 미커밋 코드 커밋 결정. harness fix(defect-12) + 샤딩 + emit fix(defect-13) + 테스트 +5 누적. 사용자 커밋 지시 대기 상태.
HIGH memer — API eval (Gemini zero-shot) 스케일 결정. full val n=189 ≈ 60h / 비용 추정 후 진행 여부 결정. 현재 n=2에서 보류 중.
MID GR00T-Dreams — pi05-delta-IDM track 종료 확정 (delta@20K = 0.250 vs control 0.812). 다음 실험 방향 결정 필요.
MID DreamData / EgoX_wan2.2 — context.md의 active jobs(38361, 38513, 37398)가 sacct에 미조회. 학습 상태 확인 필요.
LOW VGGRPO — Phase 4 RL fine-tuning 사전 plan 작성 완료(260510). Cosmos-Predict2-2B ckpt(iter 73.2K) 준비됨. 착수 시점 결정.

TL;DR

어제 memer 프로젝트에서 Sub-project A (oracle door-grounding pipeline)가 완전 종료됐다. 11개 결함을 독립 검증으로 전부 해소, 858/858 데이터셋 복원, B1 benchmark 89.42% vs baseline 88.36% (+1.06pp), HF push(commit 7676aa4b) 완료.

Gemini zero-shot API eval도 병행 — trainstruct(전체 대화)에서 50%였던 수치가 architecture-faithful(keyframe-FIFO) 측정으로는 0/2: 텍스트 스크롤백 아티팩트 제거 시 zero-shot이 압축 메모리에서 초반 객체 배치를 회상 못 함을 입증.

GR00T-Dreams의 pi05-delta-IDM은 delta@20K(0.250) vs control(0.812) 최종 확인 후 트랙 종료 결정. 추적 대상 6개 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM, VGGRPO)는 어제 커밋·작업 문서 없음.

프로젝트별 진행 현황

memer High Sub-project A 완료

어제 한 일

Oracle pipeline 결함 연속 해소 — defect-9(281 over-skip) → defect-10(A2 target grounding 파괴) → defect-11(doorless cabinet over-skip) 순차 수정, 각 독립 검증
858 full build: 5317→577/858 → 5340→858/858(A2 결함) → 5417→729/858 → 5475→858/858 PASS
Oracle LoRA 학습 (job 5571, 8GPU, 43분): eval_loss 0.00868, token_acc 0.9976
B1 side-by-side (8-GPU 샤딩, jobs 5643/5644): baseline 88.36% → oracle 89.42% (+1.06pp, 167→169/189)
HF additive push 완료: oracle fine_subtasks 858 + manifest (commit 7676aa4b)
API eval 구축 — Gemini via Letsur gw, B1 trainstruct + gt_score(keyframe-FIFO) + faithful(perseg) 3계약 비교

Oracle door-grounding이 데이터 전체에 반영됨: train 1946/2604(75%) 레코드에 닫힌 fixture Open 추가, baseline 물리적 버그 수정 확인.

API eval 핵심 발견: trainstruct 50%는 텍스트 스크롤백 아티팩트. architecture-faithful(keyframe-FIFO) 측정에서 zero-shot Gemini = 0/2 — 압축 메모리로 초반 배치 회상 불가.

오늘 할 일

미커밋 코드 커밋 결정 — harness `--task-subtasks/--init-state-manifest`, defect-12 fix(m1 분리), 샤딩(`eval_b1_sharded.sh`), emit_fine_subtasks fix, tests +5, api_predictor.py
API eval 스케일 결정: full val n=189 ≈ 60h / 비용 추정. 현재 보류 상태
Sub-project B 착수 여부 — §9-4 +1.06pp 확인됨, B1 비회귀 입증. 병합·HF는 완료. 다음 단계 정의 필요
미커밋 API eval 코드 정리 (api_predictor.py, eval 스크립트 `--predictor` 분기)

3계약 비교표 (n=2, 동일 2 샘플): trainstruct(전체대화): m1=50% / keyframe-FIFO: m1=0% / keyframe-FIFO+perseg: m1=0% → 방법론적으로 올바른 측정이 trainstruct 인플레를 드러냄.

GR00T-Dreams Medium pi05-delta 트랙 종료

어제 한 일

pi05-delta@20K closed-loop eval (job 5306, 1GPU, 18분): 16 demo, 4 task, ms600
delta@20K GLOBAL SR 0.250 vs control(first_sf@20K) 0.812
task별: CloseDoubleDoor 0.00, CloseDrawer 0.50, CloseSingleDoor 0.50, CoffeePressButton 0.00
10K→20K gap 미해소 — delta@10K 0.312 vs @20K 0.250 (학습이 격차를 못 메움)

pi05-delta-IDM: control 대비 ~0.31x, 2/4 task 완전 실패. 모든 교란(budget artifact, 버그, 라우팅, 척도) 제거 후 확정. 트랙 종료 권고 수락.

오늘 할 일

delta-IDM 트랙 공식 종료 결정 및 다음 방향 확정
closed-loop eval 하니스는 재사용 가능 자산으로 보존 — 향후 IDM 변형 비교 시 활용 가능
SigLIP2 IDM 계열 또는 타 방향으로 자원 재배치 결정 필요

Task	Control SR	Delta@20K SR
CloseDoubleDoor	0.75	0.00
CloseDrawer	1.00	0.50
CloseSingleDoor	1.00	0.50
CoffeePressButton	0.50	0.00
GLOBAL	0.812	0.250

추적 대상 프로젝트 — No Activity

어제(05-19) 커밋·작업 문서 없음. context.md 기준 마지막 주요 상태 요약.

SLURM 작업 요약 (2026-05-19)

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	비고
5305	memer	run_init_oracle_parallel.sh	—	COMPLETED	00:14:53	oracle 858 병렬 초기화
5306	GR00T-Dreams	run_pi05_delta_closed_loop_eval.sh	1	COMPLETED	00:17:56	delta@20K ms600, TASKS=4 EPS=4
5317	memer	run_build_oracle_tree.sh	—	COMPLETED	01:27:23	577/858 — defect-9 발견
5340	memer	run_build_oracle_tree.sh	—	COMPLETED	02:11:39	858/858 (A2) — defect-10 후 폐기
5417	memer	run_build_oracle_tree.sh	—	COMPLETED	01:49:59	729/858 — defect-11(doorless) 잔존
5475	memer	run_build_oracle_tree.sh	—	COMPLETED	02:04:47	858/858 PASS — 전 결함 해소
5571	memer	finetune_scene_mem_v2.sh	8	COMPLETED	00:45:36	oracle LoRA 3ep, eval_loss 0.00868
5596	memer	eval_scene_mem_benchmark.py --mode trainstruct (baseline)	1	TIMEOUT	02:00:29	73/189 시점 88.9% — 1-GPU 부족, 샤딩으로 대체
5597	memer	eval_scene_mem_benchmark.py --mode trainstruct (oracle)	1	COMPLETED	00:02:28	defect-12 발견 후 중단 (구조 assert)
5636	memer	eval_b1_sharded.sh (oracle, srun)	8	COMPLETED*	00:00:01	srun ntasks 거부 — bash fan-out으로 재작성
5637	memer	eval_b1_sharded.sh (baseline, srun)	8	COMPLETED*	00:00:00	동일 — 즉시 실패
5643	memer	eval_b1_sharded.sh (oracle, bash fan-out)	8	COMPLETED	00:46:00	oracle 169/189 = 89.42%
5644	memer	eval_b1_sharded.sh (baseline re-eval, bash fan-out)	8	COMPLETED	00:46:00	baseline 167/189 = 88.36% 재현

* 5636/5637: sacct STATE=COMPLETED이나 srun 거부로 즉시 실패. predictions 빈 채 종료.