使用 AI 撰写文献综述：原则、障碍及部分经验教训

我们对比了不同程度 AI 辅助下产生的文献综述。相同的大型语言模型给定相同的 280 篇论文 corpus 但不同的数据集选择，产生的综述差异巨大，从主流且政治中性到批判且后殖民，尽管没有人有意。LLM 输出在表面上总是看起来很完善、很有信息、思考周全，但仔细阅读会揭示其中的空白、偏见和缺乏深度。我们对比六个版本，展示了一系列陷阱，并提出了在使用 AI 辅助撰写文献综述时所需采取的预cautions。主要问题包括：(1) 无知偏见（you do not know what you do not get）在相关论文选择中；(2) 对齐与数字奴颜：商业 AI 模型盲目地在您引导它们的方向上进一步发展，强化偏见；(3) 主流化：由于其统计本质，LLM 产出倾向于偏好主流视角和内容；在我们案例中，人类与 LLM 之间的数据集选择重叠仅为 20%；(4) 创意重构能力有限，表述模糊且含糊；(5) 缺乏批判性视角，源于远阅读和政治正确。大多数陷阱可以通过提示词来解决，但只有当用户足够了解领域时才能检测到。存在一个悖论：产生一份好的 AI 辅助综述需要来自阅读文献的专业知识，这正是 AI 旨在减少的。总体而言，AI 可以提高综述的覆盖范围和质量，但节省的时间并不像人们预期的那样巨大，留给 AI 去完成工作的按按钮策略会导致灾难。我们以对撰写者和评估者的建议作结。