医学基础模型易受定向虚假信息攻击
机器学习
2023-10-02 v1 人工智能
计算机与社会
摘要
大语言模型（LLMs）具备广泛的医学知识，并能跨多个领域对医学信息进行推理，在不久的将来于多样化医学应用中具有广阔潜力。在本研究中，我们展示了 LLMs 在医学中一个令人担忧的脆弱性。通过对模型权重仅 1.1% 的定向操控，我们即可刻意注入一条错误的生物医学事实。随后该错误信息在模型输出中被传播，而其在其他生物医学任务上的性能保持不变。我们在一组 1,038 条错误生物医学事实上验证了我们的发现。这种特殊的易感性对 LLMs 在医疗环境中的应用引发了严重的安全性与可信度担忧。它凸显了采取稳健保护措施、完善验证机制以及严格管理这些模型访问权限的必要性，以确保其在医疗实践中的可靠与安全使用。
引用
@article{arxiv.2309.17007,
title = {Medical Foundation Models are Susceptible to Targeted Misinformation Attacks},
author = {Tianyu Han and Sven Nebelung and Firas Khader and Tianci Wang and Gustav Mueller-Franzes and Christiane Kuhl and Sebastian Försch and Jens Kleesiek and Christoph Haarburger and Keno K. Bressem and Jakob Nikolas Kather and Daniel Truhn},
journal= {arXiv preprint arXiv:2309.17007},
year = {2023}
}