GPT4 对同行评审辅助略有助益:一项试点研究

在本试点研究中,我们探究使用 GPT4 辅助同行评审过程。我们的核心假设是,GPT 生成的评审可达到与人类评审者相媲美的助益性。通过比较人类评审者与 GPT 模型针对提交至某主要机器学习会议的学术论文所生成的评审,我们提供了初步证据,表明人工智能可有效贡献于同行评审过程。我们还进行了含插入错误的鲁棒性实验,以理解模型倾向于关注论文的哪些部分。我们的发现为利用机器学习工具应对同行评审中的资源约束开辟了新途径。结果也揭示了评审过程潜在的改进方向,并为在人工反馈日益稀缺的领域进一步研究扩展监督奠定基础。