确保安全与可信：分析大型语言模型在医疗领域的风险
计算与语言
2024-11-25 v1 人工智能
计算机与社会
摘要
大型语言模型（LLM）的卓越能力使其在实际医疗应用中日益具备吸引力。然而，关于在医疗应用中使用LLM的风险尚未进行系统化表征。我们提出了五个关键原则来确保医疗AI的安全与可信：真实性（Truthfulness）、韧性（Resilience）、公平性（Fairness）、鲁棒性（Robustness）和隐私性（Privacy），并细化为十个具体方面。基于这一全面框架，我们引入了包含1000个专家验证问题的全新MedGuard基准测试。我们评估了11种常用LLM的表现，发现无论其安全对齐机制如何，当前语言模型在大多数基准测试中的表现都很差，尤其在与人类医生的高水平表现相比更为突出。尽管近期报告表明，像ChatGPT等先进LLM在各种医疗任务中可以匹配甚至超越人类水平，但本研究强调存在显著的安全差距，突显出对人工监督以及AI安全防护措施实施的关键需求。
关键词
引用
@article{arxiv.2411.14487,
title = {Ensuring Safety and Trust: Analyzing the Risks of Large Language Models in Medicine},
author = {Yifan Yang and Qiao Jin and Robert Leaman and Xiaoyu Liu and Guangzhi Xiong and Maame Sarfo-Gyamfi and Changlin Gong and Santiago Ferrière-Steinert and W. John Wilbur and Xiaojun Li and Jiaxin Yuan and Bang An and Kelvin S. Castro and Francisco Erramuspe Álvarez and Matías Stockle and Aidong Zhang and Furong Huang and Zhiyong Lu},
journal= {arXiv preprint arXiv:2411.14487},
year = {2024}
}