Daily Progress — 2026-08-28

오늘의 우선순위

tau-0-wm — job 99112 RUNNING(own, 8GPU, 2h44m+ 경과). run1(54k step) 최종 50-task×100 RoboTwin 평가가 extra QOS에서 4연속 PREEMPTED(97611/97832/97927/97992, 각 10분~1h05m) 끝에 own QOS로 전환해 재도전 중. 다음 preempt 대비 후속 dependency 잡 99258도 이미 대기 중이라 방치해도 이어짐 — 완료되면 run1 54k 최종 SR 확정.
flex-pi — job 99203 PENDING(QOSMaxCpuPerUserLimit). RoboTwin full-joint 재현이 100/100 units 평균 94.15%(논문 94.6% 대비 −0.45pp)로 확정된 뒤, 같은 ckpt의 action-only(VLA) regime 대조군 sweep을 own 8GPU로 제출했으나 own 큐 한도로 대기 중. 큐 여유 생기는 대로 자동 시작.
scene_bench — 방법론 감사발 재측정 파이프라인 진행 중. 전략 간 이미지 예산 불일치(F2: cap 8 표기가 실제로는 vis-pure 16장·tagmem 6장이었음) 발견·수정 후 flash rf-v2/rf-v3 재측정 완료(job 98820, 재작성이 누적보다 우세). 다음 배치 3건(98821 sonnet tagmem·98822 flash tagmem·98778 flash vis-pure cap8)이 내일(8/29 06:00 KST) 시작 예약, 98823(sonnet vis-pure)은 8/30. 모니터링만 필요, 액션 아이템 없음.

TL;DR

어제 활동은 3개 프로젝트(tau-0-wm, flex-pi, scene_bench)에 집중 — 커밋 0건, SLURM 18건(~298 GPU-h), 현재 RUNNING 1건. 8개 프로젝트(scene_bench_paper, cosmos, X-WAM_MoT, MolmoBot, cosmos-policy, ImageWAM, UMI, VGGRPO)는 무활동.
tau-0-wm: run2(batch 384 + cosine lr, 15k step) 재학습 완주했지만 정밀도가 오히려 악화(2.26→2.63cm)해 "하이퍼파라미터가 원인"이라는 가설을 기각 — 남은 갭 원인은 action 표현(chunk-relative→per-step delta) 쪽으로 좁혀짐. run1 최종 50-task eval은 extra QOS preempt에 4번 밀린 끝에 own QOS(99112)로 RUNNING.
flex-pi: RoboTwin 2.0 full-joint 재현 완료·확정 — 94.15%(논문 94.6%, −0.45pp). 2 worker/GPU가 job hang 트리거였다는 가설이 재개 잡(1 worker/GPU, hang 0건)으로 뒷받침됨. 이제 action-only(VLA) regime 대조군으로 넘어가는 단계, PENDING.
scene_bench: 전략 간 입력 파리티 감사에서 이미지 예산 불일치(cap 8/16/6 혼재) 버그를 발견해 헤드라인 수치의 신뢰도 문제를 먼저 해결 — rf-v3(MEM-style 재작성)가 rf-v2(naive 누적)보다 유의하게 우세함을 재측정으로 확인. 모델×메서드 격자 완성까지 이틀 더 소요(8/30 종료 예정).
세 프로젝트 모두 GPU를 오래 붙잡는 대형 실험보다는 재현·검증·감사 단계 — 확정 수치(flex-pi 94.15%, scene_bench 방법론 감사)가 나온 하루.

프로젝트별 진행 상황

tau-0-wm High

τ₀-World Model(VAM) RoboTwin 2.0 posttrain — X-WAM 앵커 대비 action 정밀도 격차 원인 규명, run1 최종 평가 진행 중

0Commits

1Docs

8SLURM Jobs

1RUNNING

어제 한 일

run2 재학습 완주(job 97294, own 8GPU, 16h46m) — batch 384(12×8×accum4) + cosine lr→0, 15,000 optimizer step. 결과: open-loop 정밀도 2.26 → 2.63cm(+16% 악화) — 하이퍼파라미터(배치/스케줄) 가설 기각, 남은 레버는 action 표현(chunk-relative 20ch → per-step delta)·해상도·TTC로 좁혀짐.
run1 최종 50-task eval 반복 좌초 — job 97360(extra, 12h TIMEOUT) 이후 97611/97832/97927/97992 4연속 PREEMPTED(각 10분~1h05m), 99101 취소. 오늘 own QOS로 전환해 99112 RUNNING(2h44m+ 경과), 추가 preempt 대비 후속 잡 99258도 대기 예약.
run2도 정상 RGB로 학습했는데 run1(반전 학습)보다 나쁜 결과 → 260826에 발견한 R/B 채널 버그의 실제 성능 영향이 미미했음을 재확인.

오늘 할 일

job 99112 완주 대기(own QOS라 preempt 없이 안전) — 완료 시 run1 54k 최종 SR 확정, run2 50-task 평가는 정밀도가 더 나빠 후순위로 미룸
action 표현 전환(chunk-relative → per-step delta) 실험 설계 — 사용자 결정 대기
run2 vs run1 arm B(66.0%) 판별 필요 시 100 rollout 재평가 검토

flex-pi High

Flex-π(UW/AI2, 6B multi-stream world-action model, Wan2.2-TI2V-5B 백본) RoboTwin 2.0 평가 재현 — 논문 수치 94.6%

0Commits

1Docs

2SLURM Jobs

0RUNNING

어제 한 일

재현 최종 확정 — job 97455(4GPU own, 5h04m58s, COMPLETED) 완주로 남은 12 units 재개 완료. 최종 100/100 units 평균 94.15%(clean 93.88 / random 94.42), 논문 94.6% 대비 −0.45pp — 재현 성공 판정.
worker hang 원인 가설 뒷받침 — 1차 스윕(96576)의 GPU당 2 worker 조합에서만 8개 unit이 멈췄던 것과 달리, 이번 재개는 GPU당 worker 1개로 hang 0건. 단일 시행이라 확정은 아니지만 방향 일치.
하위 성능 task 확인: open_microwave 53.5%가 유일한 큰 이상치(step limit 800 소진 의심, 미확인), 나머지 49 task는 79~100% 범위로 고름.
Phase 3 착수 — 같은 ckpt로 regime만 바꾼 action-only(VLA) sweep을 job 99203(8GPU own)으로 제출. full-joint 398.6ms/call 대비 지연 단축(예상 100~150ms) 대조 실험.

오늘 할 일

job 99203 완주 대기(현재 PENDING, own 큐 한도로 대기 중)
open_microwave 이상치 원인 확인(step limit 여부) — 미확인 상태로 남음
text-embed 캐시 1TB 이슈는 학습 재현 시에만 해당, 현재 eval만 진행 중이라 비긴급

scene_bench High

Scene-level long-term memory 벤치마크(SceneMem-Bench) — HF v1 final(find) 100편/545행 전략×모델 그리드 재측정, 방법론 입력 파리티 감사

0Commits

3Docs

8SLURM Jobs

0RUNNING

어제 한 일

방법론 전수 감사(analysis-method_audit.md) — blind/textlog/frames-uniform/rf-v2/rf-v3/vis-pure/tagmem 7종의 쓰기·읽기·질의 입력을 코드 레벨로 대조. F2(높음): 이미지 예산 불일치 확인 — "cap 8" 표기가 실제로는 frames-uniform만 8장이고 vis-pure는 16장, tagmem 읽기는 6장 고정이었음 → 헤드라인 수치가 vis-pure에 유리한 비교였던 것으로 확정, 단일 --cap 상한으로 통일.
F1(높음) 발견·제거 — rf-v3 읽기에 최근 54초 프레임 2장을 주던 것이 질의 시점 관측 불평등(정답 누출)이었음을 사용자 지적으로 확인, 제거 후 오염된 job 재취소·재제출.
체크포인트 오염 사고 — job 98728(sonnet p1)이 구 rf-v2 프롬프트·세그먼트 청킹의 8편 체크포인트를 검증 없이 그대로 복원해 취소(00:20:05), 99206으로 즉시 재제출해 완주(COMPLETED, 2h34m21s).
flash rf-v2/rf-v3 재측정 완료(job 98820, COMPLETED 2h18m20s, $29.75) — 재작성(rf-v3) > 누적(rf-v2): loc 0.350→0.431(+0.081), distractor 0.238→0.434. 단 target 세부는 누적(0.478)이 재작성(0.427)보다 나음 — 압축이 행동 세부와 커버리지를 맞바꾸는 트레이드오프.
MEM(arXiv 2603.03596)·MemER(2510.20328) 원문과 방법 대조 완료 — rf-v2는 논문이 "naive 연결(열등)"로 지목한 것에 가까워 rf-v3(재작성)를 "MEM-faithful"로 재정의.

오늘 할 일

8/29 06:00 KST 시작 예약: 98821(sonnet tagmem) · 98822(flash tagmem cap8) · 98778(flash vis-pure cap8) — 모두 own QOS, BeginTime 대기 중
8/30 06:00 KST 시작 예약: 98823(sonnet vis-pure cap8)
전 재측정 완료 후 모델×메서드 격자 표 확정 → 논문(scene_bench_paper) 반영

SLURM 요약

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
97294	tau-0-wm	train_robocasa.sh posttrain_robotwin_v2.yaml (tau_rt_train_v2)run2 재학습 완주 — batch 384 + cosine lr, 15,000 step. 정밀도 2.26→2.63cm 악화, 가설 기각	8	COMPLETED	16h46m40s	n6
97360	tau-0-wm	eval_robotwin_tau.sh step54000 optix_swaprb (tau_rt_eval_54k_optix)run1 최종 50-task×100 eval 1차 시도, extra QOS, 12h cap 소진	8	TIMEOUT	12h00m00s	n64
97611 / 97832 / 97927 / 97992	tau-0-wm	eval_robotwin_tau.sh step54000 cont (tau_rt_eval_54k_cont)run1 최종 eval 이어달리기 — extra QOS, 4연속 PREEMPTED	8	PREEMPTED×4	10분~1h05m32s	n12/n55/n70/n55
99101	tau-0-wm	eval_robotwin_tau.sh step54000 cont (tau_rt_eval_54k_cont)extra 재시도 취소 — own QOS(99112)로 전환	8	CANCELLED	0초	-
99112	tau-0-wm	eval_robotwin_tau.sh step54000 own (tau_rt_eval_54k_own)own QOS 재도전 — 현재 진행 중, 후속 dependency 잡 99258 대기	8	RUNNING	2h44m+	n7
97455	flex-pi	sweep_flexpi_robotwin_worker.sh RESUME_DIR=... (flexpi_rt_resume)재개 12 units, GPU당 worker 1개 → hang 0건, 최종 94.15% 확정	4	COMPLETED	5h04m58s	n13
99203	flex-pi	sweep_flexpi_robotwin_worker.sh REGIME=action (flexpi_rt_action)action-only(VLA) 대조군 sweep — own 큐 대기	8	PENDING	-	-
97370	scene_bench	run_v1_final_shards.sh sonnet (v1final_sonnet_p2)일정 재편성으로 시작 전 취소	0 (CPU)	CANCELLED	0초	-
97372	scene_bench	run_v1_final_shards.sh sonnet (v1final_sonnet_p1)일정 재편성으로 시작 전 취소	0 (CPU)	CANCELLED	0초	-
98728	scene_bench	run_v1_final_shards.sh sonnet (v1final_sonnet_p1)구 체크포인트 오염 발견 → 취소, 99206으로 재제출	0 (CPU)	CANCELLED	20m05s	n12
98734	scene_bench	run_v1_final_shards.sh flash rfv3 (v1final_flash_rfv3)F1 결함(정답 누출) 발견 후 취소·재설계	0 (CPU)	CANCELLED	1h16m09s	n56
98775 / 98776	scene_bench	run_v1_final_shards.sh sonnet p2a / flash tagmem8일정 재편성으로 시작 전 취소	0 (CPU)	CANCELLED×2	0초	-
98820	scene_bench	run_v1_final_shards.sh flash rf (v1final_flash_rf)rf-v2+rf-v3 재측정 완료, $29.75 — 재작성>누적 확인	0 (CPU)	COMPLETED	2h18m20s	n18
99206	scene_bench	run_v1_final_shards.sh sonnet p1 (v1final_sonnet_p1)체크포인트 정리 후 재제출, 5전략 완주	0 (CPU)	COMPLETED	2h34m21s	n35

scene_bench의 v1final_* 잡은 API 호출 기반 평가라 --gres=gpu:0(CPU-only)로 제출됨. 8/29~8/30 시작 예약된 후속 잡(98821/98822/98778/98823, 5건)은 아직 BeginTime 대기 중이라 이 표에서 제외.

오늘의 우선순위

TL;DR

프로젝트별 진행 상황

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

SLURM 요약

활동 없음