基于持久化工作流提示、元提示与元推理的 AI 驱动学术同行评审

科学手稿的批判性同行评审对大型语言模型 (LLMs) 构成重大挑战，部分原因在于数据局限性和专家推理的复杂性。本报告介绍了持久化工作流提示 (PWP)，这是一种可能广泛适用的提示工程方法，旨在利用标准 LLM 聊天界面（零代码、无 API）弥合这一差距。我们展示了一个用于实验化学手稿批判性分析的概念验证 PWP 提示，其具有层次化、模块化架构（通过 Markdown 构建），定义了详细的分析工作流。我们通过迭代应用元提示技术和元推理来开发此 PWP 提示，旨在系统地将专家评审工作流（包括隐性知识）编码化。该 PWP 提示在会话开始时提交一次，使 LLM 具备由后续查询触发的持久化工作流，引导现代推理 LLM 完成系统性的多模态评估。演示表明，PWP 引导的 LLM 能识别测试案例中的主要方法学缺陷，同时减轻 LLM 输入偏差并执行复杂任务，包括区分主张与证据、整合文本/照片/图形分析以推断参数、执行定量可行性检查、将估计值与主张进行比较，以及评估先验合理性。为确保透明度并便于复现，我们提供了完整的提示、详细的演示分析以及交互式聊天日志作为补充资源。除了具体应用之外，这项工作还提供了对元开发过程本身的见解，突显了 PWP 在详细工作流形式化的指导下，利用现成的 LLM 完成复杂科学任务中精密分析的潜力。