评审小组是否公平？通过网络分析评估小组构成——以意大利研究评估为例

研究评估通常由同行小组管理。程序公平是指确保决策通过公平透明的过程做出的原则。它要求评审小组的构成是公平的。一个公平的小组通常根据学者的可观察特征（如性别或所属机构）来定义。形式上符合这些标准并不足以保证在学术思想、背景或政策导向方面的公平构成。本文提出了一种基于观察评审小组成员之间联系的实证策略，用于探讨评审小组在智力构成上的公平性。案例研究涉及意大利研究评估活动中被选来评估经济学、统计学和商学的三个评审小组。前两个小组由负责评估的政府机构直接任命，而第三个小组是随机选取的。因此，第三个小组可被视为评估其他小组公平性的对照组。通过比较基于评审小组成员合著关系的网络、基于他们发表论文的期刊的网络以及基于他们所属机构（大学、研究中心和报社）的网络，探讨了公平代表性。结果表明，前两个小组的成员之间的联系远高于对照组成员。因此，鉴于研究评估的结果，前两个小组的构成应被视为不公平。