检索增强系统是危险的医疗沟通者

患者长期寻求线上健康信息，日益依赖生成式 AI 来解答健康相关查询。鉴于医疗领域的高风险，诸如检索增强生成（retrieval-augmented generation）和引用 grounding 等技术被广泛推广作为减少幻觉、提高 AI 生成响应准确性的方法，并被纳入搜索引擎。本文认为，即便这些方法在不产生幻象的情况下从源文档中获取准确内容，仍可能高度误导患者。患者可能从 AI 生成的输出中获得与阅读原始来源材料或咨询有经验的临床医生时截然不同的解读。通过对包括争议诊断和程序安全等话题的大规模查询分析，我们以定量和定性证据支持这一论点。特别是，我们指出这些模型倾向于去语境化事实、遗漏关键相关来源，并强化患者的误解或偏见。我们提出了一系列建议——例如融入沟通语用学和加强对源文档的理解——以缓解这些问题，这些建议超越了医疗领域。