论判：揭示 LLM 辅助同行评审中的（隐藏）偏见

大型语言模型 (LLM) 的采用正在改变同行评审过程，从帮助评审者撰写详细评估到自动生成整个评审。尽管这些能力提供了新的机会，但也引发了公平性和可靠性的担忧。本文通过对作者元数据进行控制干预，包括机构、性别、资历和出版历史，我们调查了 LLM 生成的同行评审中的偏见。我们的分析始终显示出强烈的机构偏见，偏好来自排名较高的机构的作者。我们还识别出与资历和 prior 出版记录相关的方向性偏好，这可能影响边缘论文的接受决定。性别效应虽较小，但在多个模型中都有所体现。值得注意的是，随着对 token 级别软评分的细致检查，隐式偏见变得更为显著，这表明对齐可能掩盖但未能完全消除潜在偏好。