关于大语言模型时代科研产出的评论
计量经济学
2026-05-19 v1
摘要
Kusumegi 等人（2025）研究了在采用大语言模型（LLM）后研究者的 preprint 输出是否上升，以采纳日期定义为首个至少一个提交摘要超过 LLM 检测阈值的月份。我们指出，这一处理时间规则在机械上与产出密切相关。至少一个论文在该月被标记的概率随该月提交的论文数量而增加，因此检测-采纳月份比例显著高于常规产出月份。以首次检测为中心的事件研究因此可能显示出正的事后动态，即使该检测规则对真实 LLM 采纳毫无信息，因为所选取的前处理期来自无 prior 检测的月份。我们在仿真中演示：在独立同分布的生产力且无因果效应情况下，首次检测时间会生成虚构的正事后路径。我们也复制了 Kusumegi 等人（2025）的堆叠事件研究，表明三个安置练习（随机论文级分配、中性关键词标记、以及 ChatGPT 之前的观察窗口）均产生类似的正事后模式。
引用
@article{arxiv.2605.17979,
title = {Comment on Scientific production in the era of large language models},
author = {Thomas Renault and Antonin Bergeaud and Clément Bosquet},
journal= {arXiv preprint arXiv:2605.17979},
year = {2026}
}
备注
Comment on arXiv:2601.13187 [10.1126/science.adw3000]