学术出版指标的过度优化：古德哈特定律之实证
社会与信息网络
2018-09-24 v1 计算机与社会
物理与社会
摘要
学术出版界正发生显著变化，每年出版物数量不断增长且出版模式发生转变。然而，用于衡量学术成功的指标——如论文数量、引用次数与影响因子——数十年来未曾改变。此外，近期研究表明这些指标已成为目标并遵循古德哈特定律（Goodhart's Law），即“当一项度量成为目标，它就不再是好度量”。本研究中，我们分析了超过 1.2 亿篇论文，以考察过去一个世纪学术出版界的演变。我们的研究显示，基于引用的度量的有效性正受损害，其实用性在减弱。特别是，由于作者列表变长、论文变短及出版数量激增，论文数量已不再是一项好指标。基于引用的指标（如引用次数与 h 指数）同样受论文洪流、自引及冗长参考文献列表的影响。诸如期刊影响因子等指标，也因顶尖期刊中发表论文数量（尤其来自同一批作者）的飙升而不再是好指标。此外，通过分析超过 2600 个研究领域的属性，我们观察到基于引用的指标无助于比较不同领域甚至同一部门的研究者。学术出版已发生重大变化；现在我们亟需重新思考如何衡量成功。
引用
@article{arxiv.1809.07841,
title = {Over-Optimization of Academic Publishing Metrics: Observing Goodhart's Law in Action},
author = {Michael Fire and Carlos Guestrin},
journal= {arXiv preprint arXiv:1809.07841},
year = {2018}
}