用于缓解大语言模型幻觉的多阶段提示优化

最新进展表明，大语言模型（LLM）在自然语言理解和生成任务中表现出强大性能。然而，LLM 持续面临幻觉挑战，即模型生成看似合理但不正确的信息。尽管多个因素导致幻觉，但针对格式不良提示、措辞模糊、语法错误或信息不完整的提示的影响，研究相对不足。为此，我们引入多阶段提示优化（MPR），这是一个旨在系统性改进这些格式不良提示的框架。每个阶段针对特定错误进行处理，如标点、拼写错误和关键术语的误用，使用针对此类任务微调的小型语言模型（SLM）。MPR 通过迭代增强提示的清晰度，添加额外上下文，并采用自反思机制进行排序以优先处理最相关的输入。在幻觉基准测试上的实验结果显示，经 MPR 优化的提示相较于原始形式Achieved over 85% 的获胜率，证明其在减少幻觉和提高 LLM 输出准确性方面的有效性。有趣的是，我们发现 MPR 可以与现有的事后幻觉缓解框架结合使用，进一步增强了其灵活性。MPR 提供了一个轻量且可适应的解决方案，用于提高 LLM 在 various 领域中的可靠性。