RAGged Edges：检索增强聊天机器人的双刃剑

诸如ChatGPT之类的大型语言模型（LLM）展示了人工智能的显著进展。然而，它们产生幻觉——生成看似合理但虚假的信息——的倾向构成了重大挑战。这一问题至关重要，正如近期法庭案件所示，ChatGPT的使用导致了不存在的法律裁决的引用。本文探讨了检索增强生成（RAG）如何通过将外部知识与提示词整合来对抗幻觉。我们使用旨在诱发幻觉的提示词，对RAG与标准LLM进行了实证评估。结果表明，RAG在某些情况下提高了准确性，但当提示词直接与模型预训练的理解相矛盾时，仍可能被误导。这些发现突显了幻觉的复杂性，以及需要更稳健的解决方案以确保LLM在现实应用中的可靠性。我们为RAG的部署提供了实用建议，并讨论了对开发更可信LLM的影响。