PatientDx：合并大型语言模型以保护医疗数据隐私
计算与语言
2025-04-25 v1
摘要
大型语言模型(LLM)的微调已成为提高特定任务性能的默认做法。然而，性能提升伴随着在大量标注数据上的训练，这些数据可能涉及敏感信息，导致显著的数据隐私问题。特别是医疗领域是最敏感的领域之一，暴露于数据隐私问题之中。本文提出了PatientDx，一种允许为健康预测任务设计有效的 LLM 的模型合并框架，而无需在患者数据上进行微调或适应。我们的方案基于最近提出的 LLM 合并技术，旨在优化构建块合并策略。PatientDx 使用适用于数值推理的枢轴模型，并根据基于性能指标的示例调整超参数，但不对这些数据进行训练。使用来自 MIMIC-IV 数据集的死亡任务实验表明，与初始模型相比，我们的方法在 AUROC 上提升了最高7%。此外，我们确认与微调后的模型相比，我们的方案在数据泄漏问题方面更不容易受到影响，而且不影响性能。最后，我们通过案例研究定性地展示了我们方法的能力。我们的 最佳模型已公开available at https://huggingface.co/ Jgmorenof/mistral\_merged\_0\_4。
引用
@article{arxiv.2504.17360,
title = {PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare},
author = {Jose G. Moreno and Jesus Lovon and M'Rick Robin-Charlet and Christine Damase-Michel and Lynda Tamine},
journal= {arXiv preprint arXiv:2504.17360},
year = {2025}
}