AI 辅助科学写作的价值：经实验验证的发现

大型语言模型在各个领域的应用日益拓展，但其作为科学写作工具的有效性——这需要精确、多模态综合和专业知识——仍不足以为人知。我们考察了大型语言模型（LLM）支持领域专家进行科学写作的潜力，重点关注摘要的撰写。我们设计了一个有激励机制的随机对照试验，设想一个假设的会议场景，其中具有相关专业知识的参与者被划分为作者和审稿人两组。受行为科学方法的启发，我们的新型激励结构鼓励作者编辑提供的摘要，以达到可接受的质量，以通过同行评审。我们的 2x2 在主观设计中扩展为两个维度：提供摘要的隐含来源以及披露方式。我们发现，当编辑的人类撰写的摘要相对于未披露来源的 AI 生成摘要时，作者会进行最多的编辑，往往是由于对 AI 生成内容更高的可读性感知。在披露来源信息后，两组来源处理的编辑 volume 趋于一致。审稿人对摘要的来源没有产生影响，但与编辑次数显著相关。尤其是在 AI 生成摘要的情况下，细致的风格编辑在披露来源信息的存在下，会提高接受概率。我们发现，AI 生成的摘要在经过最小修改后，可达到与人类撰写的水平相当，感知 AI 署 authorship 而非客观质量驱动了大量观察到的编辑行为。我们的发现凸显了在协作科学写作中披露来源的重要性。