MedHalu：大型语言模型对医疗查询回复中的幻觉现象

大型语言模型（LLM）开始补充传统的信息检索机制，如网络搜索。像ChatGPT这样由LLM驱动的聊天机器人在公众中日益受到关注。AI聊天机器人也在社交媒体平台上越来越多地生成内容。然而，LLM也容易产生幻觉，生成看似合理但事实上不正确或捏造的信息。当非专业人士开始寻求关于医疗保健等敏感问题的信息时，这成为一个关键问题。现有关于医学领域LLM幻觉的研究主要集中在通过标准化的医学考试问题来测试LLM的医学知识，这些问题通常是定义明确、界限清晰且有确定答案的。然而，这些方法可能无法完全捕捉这些LLM在与患者进行真实世界交互时的表现。这项工作开创性地研究了LLM对来自患者的真实世界医疗查询所生成回复中的幻觉现象。我们引入了MedHalu，这是一个新颖的医学幻觉基准，包含多样化的健康相关主题和来自LLM的幻觉回复，并详细标注了幻觉类型和文本跨度。我们还提出了MedHaluDetect，一个用于评估LLM检测幻觉能力的综合框架。此外，我们研究了三个群体——医学专家、LLM和非专业人士——对医学幻觉的易感性。值得注意的是，LLM在检测医学幻觉方面明显不如人类专家，在某些情况下甚至不如非专业人士。为了改进幻觉检测，我们提出了一种专家在环的方法，将专家推理整合到LLM输入中，显著提高了所有LLM的幻觉检测能力，包括GPT-4的宏F1分数提高了6.3%。我们的代码和数据集可在https://netsys.surrey.ac.uk/datasets/medhalu/获取。