通过 Zipf 定律量化同行评审者的质量
物理与社会
2016-06-08 v1 数字图书馆
摘要
本文引入了对同行评审者的统计及其他分析，旨在通过某种量化指标来探究其“质量”，从而得出一些质量度量标准。本文考察了《塞尔维亚化学学会杂志》的同行评审报告。每份报告的文本首先必须适配于字数统计软件，以避免在搜索词频时产生行话引起的混淆：例如，必须区分 C 代表碳还是摄氏度等。因此，每份报告都必须仔细地“重写”。此后，考察每份报告中词汇的数量、多样性和分布，并与整体集合进行比较。根据报告提交的时间区分了两个独立的月份，以观察任何可能的隐藏伪效应。发现了连贯性。通过 Zipf-Pareto 位序-规模定律寻找经验分布。观察到同行评审报告在这方面与普通文本相去甚远。讨论了对通常（第一）Zipf 定律的偏离。在“距离平均行为”概念的基础上，通过熵论证，在此背景下提供了关于“最佳（或最差）报告”以及引申为“好（或坏）评审者”的理论建议。另一种基于熵的度量也允许衡量期刊评审（从而评审者），以便通过其自身的评审报告与其他期刊进行进一步比较。
引用
@article{arxiv.1508.05624,
title = {Quantifying the quality of peer reviewers through Zipf's law},
author = {Marcel Ausloos and Olgica Nedic and Agata Fronczak and Piotr Fronczak},
journal= {arXiv preprint arXiv:1508.05624},
year = {2016}
}
备注
28 pages; 8 Tables; 9 Figures; 39 references; prepared for and to be published in Scientometrics