ReviewFlow：支持学术同行评审的智能支架

同行评审是科学的基石。研究社区通过同行评审来评估贡献并提高科学工作的整体质量。每年，都有新的社区成员首次被招募为同行评审员。技术如何帮助新手遵守其社区的同行评审实践和标准？为了更好地理解同行评审的实践和挑战，我们进行了一项包含10名新手和10名专家的形成性研究。我们发现，许多专家采用一种工作流程：标注、记笔记，并将笔记综合成符合社区标准的、论证充分的评审意见。新手缺乏关于如何阅读和评估投稿以及如何构建论文评审的及时指导。为了支持同行评审过程，我们开发了ReviewFlow——一种由人工智能驱动的工作流程，它通过情境反思来引导新手批判性地评论和标注投稿，通过现场知识支持来评估新颖性，并通过笔记到提纲的综合来帮助使同行评审与社区期望保持一致。在一项被试内实验中，16名缺乏经验的评审员在两种条件下撰写评审意见：使用ReviewFlow和使用一个指导极少的基线环境。使用ReviewFlow时，参与者撰写了更全面的评审意见，识别出更多的优点和缺点。虽然参与者赞赏ReviewFlow提供的简化流程支持，但他们也对在科学评审过程中使用人工智能表示担忧。我们讨论了使用人工智能来支架同行评审过程对科学工作及其他方面的影响。