SciZoom：面向 LLM 时代的大规模分层科学摘要基准
计算与语言
2026-03-18 v1
摘要
AI 研究的爆发式增长造成了前所未有的信息负担，增加了对超越传统摘要、在多个粒度级别上进行科学摘要需求的增长。尽管 LLM 正在日益被用于摘要生成，但现有基准在规模、目标粒度和 LLM 时代前的局限性方面仍有限。此外，自 2022 年 11 月 ChatGPT 发布以来，研究者们正快速采用 LLM 来撰写科学论文，这从根本上改变了科学写作方式，但尚无资源用于分析这种写作演变。为弥合这些差距，我们提出 SciZoom，一个包含 44,946 篇来自四个顶级机器学习会议（NeurIPS、ICLR、ICML、EMNLP）的论文基准，时间跨度为 2020-2025 年，明确划分为 Pre-LLM 与 Post-LLM 两个时期。SciZoom 提供三层次的摘要目标（Abstract、Contributions 和 TL;DR），压缩比最高可达 600:1，既可用于多粒度摘要研究，也可用于挖掘科学写作模式的时序变化。我们的语言学分析揭示了短语模式（公式化表达类短语变化最高可达 10 倍）和修辞风格（缓和措辞下降 23%）的显著变化，表明 LLM 辅助写作产生更自信且更均质的文本。SciZoom 既是一项具有挑战性的基准，也是挖掘生成式 AI 时代科学话语演变的独特资源。我们的代码和数据集分别已在 GitHub（https://github.com/janghana/SciZoom）和 Hugging Face（https://huggingface.co/datasets/hanjang/SciZoom）上公开。
引用
@article{arxiv.2603.16131,
title = {SciZoom: A Large-scale Benchmark for Hierarchical Scientific Summarization across the LLM Era},
author = {Han Jang and Junhyeok Lee and Kyu Sung Choi},
journal= {arXiv preprint arXiv:2603.16131},
year = {2026}
}
备注
12 pages, 7 figures, Submitted to KDD 2026