大型语言模型在沟通式医疗辅导上的基准评测：一个新颖的系统与数据集
计算与语言
2024-06-11 v2 人工智能
摘要
自然语言处理（NLP）在医疗保健中的传统应用主要集中在以患者为中心的服务上，例如通过医疗对话系统来增强患者互动和护理交付。然而，NLP 在帮助经验不足的医生方面的潜力，特别是在沟通式医疗辅导等领域，在很大程度上仍未得到探索。我们引入了“ChatCoach”，这是一个旨在帮助医学学习者在患者咨询期间练习沟通技巧的人机协作框架。ChatCoach（我们的数据和代码可在线获取：https://github.com/zerowst/Chatcoach）与传统对话系统的区别在于，它提供了一个模拟环境，医学学习者可以在其中与患者智能体练习对话，而教练智能体则提供即时、结构化的反馈。这是通过我们提出的广义思维链（GCoT）方法实现的，该方法促进了结构化反馈的生成并增强了对外部知识源的利用。此外，我们还专门开发了一个数据集，用于在 ChatCoach 框架内评估大型语言模型（LLM）在沟通式医疗辅导任务上的表现。我们的实证结果验证了 ChatCoach 的有效性。
引用
@article{arxiv.2402.05547,
title = {Benchmarking Large Language Models on Communicative Medical Coaching: a Novel System and Dataset},
author = {Hengguan Huang and Songtao Wang and Hongfu Liu and Hao Wang and Ye Wang},
journal= {arXiv preprint arXiv:2402.05547},
year = {2024}
}
备注
Accepted to Findings of the Association for Computational Linguistics: ACL 2024