探究同行评审中的公平性差异：一种语言模型增强方法
计算机与社会
2022-11-14 v1 计算与语言
机器学习
摘要
双盲同行评审机制已成为包括计算机科学在内的多个学科学术研究的骨架，然而一些研究对同行评审的质量提出了质疑，并对该过程中的潜在偏见表示担忧。在本文中，我们借助大型语言模型对同行评审中的公平性差异进行了彻底而严谨的研究。我们通过聚合来自 OpenReview、Google Scholar、arXiv 和 CSRanking 的数据，提取高级特征并使用语言模型，收集、组装并维护了一个涵盖自 2017 年至今的 International Conference on Learning Representations (ICLR) 会议的综合关系数据库。我们假设并研究了在多个受关注的受保护属性上的公平性差异，包括作者性别、地理位置、作者及机构声望。我们观察到差异程度有所不同，且文本特征对于减少预测建模中的偏见至关重要。我们从分析中提炼出了一些关于借助大型语言模型研究同行评审过程的见解。我们的数据库还为研究促进理解同行评审机制的新型自然语言处理方法提供了途径。我们研究了一个迈向自动机器评审系统的具体示例，并为评审生成和评分任务提供了基线模型，使得该数据库可作为基准使用。
引用
@article{arxiv.2211.06398,
title = {Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach},
author = {Jiayao Zhang and Hongming Zhang and Zhun Deng and Dan Roth},
journal= {arXiv preprint arXiv:2211.06398},
year = {2022}
}