以隐私保护情境提示增强小型医疗学习模型
计算与语言
2024-05-17 v2 人工智能
摘要
大语言模型（LLMs）展现出卓越的医疗专业能力，但数据隐私问题阻碍其在医疗环境中的直接使用。尽管领域专用的小语言模型（SLMs）提供了更好的数据隐私保护，其表现常不及 LLMs，这凸显了在缓解隐私担忧的同时缩小此性能差距之方法的必要性。本文提出一种简洁而有效的方法，在隐私受限场景下利用 LLMs 的医疗能力来提升 SLM 在医疗任务中的表现。具体而言，我们通过从医疗数据中提取关键词，并提示 LLM 模拟临床医生思维过程以生成医疗知识密集型上下文，从而缓解患者隐私问题。该上下文作为 SLM 的额外输入，增强其决策能力。我们的方法在三个医疗知识密集型任务的少样本与全量训练设定下均显著提升性能，相较无上下文的 SLM 微调绝对准确率最高提升 22.57%，并在隐私受限场景下的两个医疗任务中创下新的 SOTA 结果。进一步的域外测试与两个通用领域数据集实验展示了其泛化性与广泛适用性。代码见 https://github.com/XZhang97666/PrivacyBoost-SLM。
引用
@article{arxiv.2305.12723,
title = {Enhancing Small Medical Learners with Privacy-preserving Contextual Prompting},
author = {Xinlu Zhang and Shiyang Li and Xianjun Yang and Chenxin Tian and Yao Qin and Linda Ruth Petzold},
journal= {arXiv preprint arXiv:2305.12723},
year = {2024}
}