TL;DR
- 같은 날 반대 방향 수정 2회: 08:52 KST 17:52 커밋(
6c91ca3)은 확신 어조를 hedging으로 완화, 10:18 KST 19:18 커밋(366db24)은 반대로 hedging을 제거하며 확신 어조로 되돌림
- 수치 구분 소실: "현재 릴리즈 153 episodes/759 queries vs 목표 200/1,160" 캐비어트 문장이 두 번째 커밋에서 완전히 삭제 — 본문은 이제 목표치(200/1,160)를 현재값처럼 서술
- 기존 카드와의 불일치: 같은 날 오전 작성된
stats_table_to_figure 카드는 정확히 이 구분(153/759 vs 200/1,160)을 근거로 인용했는데, 본문에서는 그 근거 문장이 사라짐
1 배경 / 목적
벤치마크(\bench{})는 아직 API 평가(GPT-5.6/Qwen3-VL/Gemini Robotics-ER)와 Routine family 데이터 생성이 끝나지 않은 상태에서 제출 원고를 써야 하는 상황이었다. 원고 전반에 "will be", "planned", "preliminary", "under construction" 같은 draft-status 문구가 많이 남아 있었고, 이는 (a) 리뷰어에게 미완성 인상을 준다는 문제와 (b) 실제로 미완성인 부분(153/759 vs 목표 200/1,160, Routine 미생성 등)을 숨기면 사실과 다른 서술이 된다는 문제 사이에서 톤을 조율해야 하는 긴장 관계에 있었다.
제약: "완성된 것처럼 보이게" 쓰고 싶은 유인과, "미완성 사실을 정확히 보고해야" 하는 요구가 상충 — 이 둘을 한 번에 만족시키는 것이 이번 편집 작업의 실제 난이도.
2 작업 내용
1) 확신 어조 완화 — 6c91ca3 "restructure legal review paper draft" (17:52 KST, 8 files, +218/-234)
Introduction: "We build \bench{}" → "We are building \bench{}"
Introduction: "already yields actionable structure" 계열 확신 서술 → 잠정적 표현으로 교체
Conclusion(Limitations): "reported baselines are preliminary. Restore/Resume use
small samples, Routine evaluation is pending" 명시 추가
Conclusion: "\stag{}는 third overall(전체 3위)이라는 확정적 순위" 서술 제거 →
"완결된 리더보드 주장이 아니라 baseline으로 보고" 톤으로 전환
전반적으로 이 커밋은 "아직 끝나지 않았다"는 사실을 본문에 더 명시적으로 드러내는 방향 — hedging을 추가했다.
2) 확신 어조 재도입 — 366db24 "remove manuscript-status meta commentary" (19:18 KST, 7 files, +78/-99)
Abstract: "a benchmark under construction" → "a benchmark in multi-room
simulated houses" (under construction 삭제)
Abstract: "planned full release targets 200 contexts...; the current working
release and preliminary evaluations are smaller" → "The benchmark contains
200 automatically generated contexts...and approximately 1,160 queries."
(⚠ 현재/목표 구분 문장 전체 삭제)
benchmark.tex: "(planned full-release targets; the current working release
covers 153 episodes / 759 queries)" 캡션 문구 삭제
→ "Figure~\ref{fig:stats} summarizes the planned benchmark" →
"...summarizes the benchmark" (planned 삭제)
experiments.tex: 섹션 제목 "Preliminary evaluation and planned experiments"
→ "Experiments" (preliminary/planned 삭제)
appendix.tex: "will be run before release" → "are run before release" 등
미래형 → 현재형 전환 다수
이 커밋은 정확히 반대 방향 — "미완성"을 드러내는 문구(planned, preliminary, under construction, will be)를 광범위하게 제거했다.
3 결과 (수치)
| 커밋 | 방향 | 영향 파일 | diff |
|---|
6c91ca3 (17:52 KST) | hedging 추가 (완화) | 8개 (전 섹션) | +218/-234 |
366db24 (19:18 KST) | hedging 제거 (확신 복원) | 7개 (전 섹션) | +78/-99 |
발견된 문제: 366db24에서 삭제된 "current working release covers 153 episodes / 759 queries" 문장은 바로 같은 날 오전(09:10 KST, stats_table_to_figure 카드) 작업에서 3-panel figure의 캡션 근거로 명시했던 실측 규모다. 이 구분 문장이 본문에서 사라지면서, iclr2027_conference.tex abstract와 sections/benchmark.tex 통계 문단은 이제 "200 context episodes... approximately 1,160 queries"를 마치 현재 벤치마크의 확정 규모인 것처럼 서술한다 — 실제로는 목표치이고 현재 공개분은 153/759다.
부분적으로 안전한 부분: Figure caption 자체("Episode duration: type-1 median 420.8s...")는 이번 삭제 대상이 아니었고, 리뷰어가 App. B(protocol 세부)나 실험 섹션의 실제 n(Finding n=353 등)까지 읽으면 규모 불일치를 알아챌 여지는 남아있다 — 다만 abstract만 읽는 리뷰어에게는 노출되지 않음.
4 Takeaway
의미
같은 작업일 안에 톤을 두 번 반대 방향으로 조정한 것은, 원고에서 "얼마나 확신을 갖고 서술할 것인가"에 대한 명확한 기준 없이 커밋이 진행됐을 가능성을 시사한다. 특히 마지막 상태(366db24가 최신)가 실제 데이터 규모(153/759)와 목표 규모(200/1,160)를 구분하지 않는 방향으로 남아 있다는 점은, "확신 있게 쓰기"와 "정확하게 보고하기"를 혼동한 사례로 볼 수 있다 — 벤치마크 논문에서 데이터 규모 overclaim은 리뷰 단계에서 지적되기 쉬운 항목이다.
5 Next Steps
미해결 한계
iclr2027_conference.tex abstract, sections/benchmark.tex §3.4 통계 문단에 "200 episodes / ≈1,160 queries"가 현재값처럼 등장하는 모든 위치를 재검토해야 함 — figure caption과 본문 서술 사이의 수치 일관성 검증 미완료.
다음 작업
목표치가 등장하는 문장에 "target"/"planned full release" 수식어를 재도입하거나, 최소 1곳(abstract 또는 §3.4 첫 문단)에서 현재 공개분(153/759) 대비 목표(200/1,160)를 명시. 이후 draft-status 표현 관련 커밋을 만들 때는 "hedging 추가"와 "hedging 제거" 커밋이 같은 세션에서 번갈아 발생하지 않도록 톤 기준을 먼저 정하고 일괄 적용 권장.