基于GPT-3的医疗保健对话代理的挑战
计算与语言
2023-08-30 v2
摘要
医疗领域对话代理能够为患者提供更快的信息获取途径，同时让医学专家专注于关键任务，因而具有吸引力。然而，将大语言模型（LLM）集成到这些代理中会带来某些局限性，可能导致严重后果。本文研究了在医疗问答（MedQA）中使用基于GPT-3模型的挑战与风险。我们进行了若干基于标准医学原则语境的评估。我们提供了一种手动设计患者查询以压力测试MedQA系统中LLM高风险局限性的流程。我们的分析揭示，LLM未能充分响应这些查询，生成了错误的医疗信息、不安全的建议以及可能被视为冒犯的内容。
引用
@article{arxiv.2308.14641,
title = {Challenges of GPT-3-based Conversational Agents for Healthcare},
author = {Fabian Lechner and Allison Lahnala and Charles Welch and Lucie Flek},
journal= {arXiv preprint arXiv:2308.14641},
year = {2023}
}
备注
12 pages, 9 Tables, accepted to RANLP 2023