面向医疗实践的大型语言模型可靠响应激发策略
计算与语言
2024-08-01 v1
摘要
大型语言模型（LLM）在人工智能领域的持续进步为直观访问和使用医学知识提供了重要能力，广泛应用于教育与培训、评估与治疗等场景。目前关于LLM在医疗领域的初步文献主要强调其不适用于医疗应用的原因：其非确定性，可能提供错误或有害的响应，以及无法通过管控确保质量控制。若能纠正这些问题，优化LLM技术将为患者和医生提供可负担、就诊时的医学知识。我们提出的框架通过限制其主要知识库为包含经验证医学信息的领域特定数据集来细化LLM响应。此外，我们引入基于主动推理原则的人类认知的actor-critic LLM 提示协议，其中Therapist智能体初始响应患者查询，Supervisor智能体评估并调整响应以确保准确性和可靠性。我们进行了验证性研究，盲柱格式中让专家认知行为疗法（CBT-I）治疗师评估LLM的响应。经验丰富的CBT-I治疗师评估了100个患者查询的响应，将LLM生成的响应与经验丰富的CBT-I治疗师所构建的合适或不合适的响应进行比较。结果显示，LLM响应获得了来自CBT-I治疗师的高评级，常常超过了治疗师生成的合适响应。这一结构化方法旨在将先进的LLM技术集成到医疗应用中，满足监管要求，确立以经验证的专用LLM在医疗领域安全有效使用的标准。
引用
@article{arxiv.2407.21051,
title = {An Active Inference Strategy for Prompting Reliable Responses from Large Language Models in Medical Practice},
author = {Roma Shusterman and Allison C. Waters and Shannon O`Neill and Phan Luu and Don M. Tucker},
journal= {arXiv preprint arXiv:2407.21051},
year = {2024}
}
备注
25 pages, 4 figures