对排序指标的无偏评估揭示科学与技术引文数据中一致的性能表现

尽管基于引文的指标越来越多地用于科研评估，我们尚不清楚哪些指标最能兑现其衡量科学论文或专利重要性的承诺。我们通过 17 个基于网络的指标在三个大型引文数据集中识别里程碑论文与专利的能力来评估它们。我们发现，传统的信息检索评估指标深受里程碑条目的年龄分布与被评估指标的年龄偏置之间相互作用的影响。因此这些指标的结果并不能代表其排序能力。我们主张采用一种修正的评估流程，该流程显式惩罚有偏指标，并使我们能够揭示跨数据集一致的指标性能模式。当 PageRank 与 LeaderRank 所产生的分数经简单变换抑制其年龄偏置后，它们成为表现最佳的排序指标，而其他流行指标（包括引文计数、HITS 与 Collective Influence）产生的排序结果明显更差。