选择性注意力联邦学习：用于临床文本分类的隐私与效率提升
计算与语言
2025-04-22 v3 人工智能
摘要
联邦学习（FL）在训练大型语言模型（LLMs）时面临通信开销和模型隐私方面的主要挑战，尤其是在医疗保健应用中。为此，我们提出了选择性注意力联邦学习（SAFL），一种新方法，通过动态微调仅识别为注意力关键层的变换器层。通过利用注意力模式来确定层重要性，SAFL显著减少了通信带宽并增强了差分隐私抗性。在临床 NLP 基准（i2b2 临床概念提取和 MIMIC-III 出院概述）上的评估表明，SAFL 在保持与集中式模型竞争性能的同时，大幅提高了通信效率和隐私保护。
引用
@article{arxiv.2504.11793,
title = {Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification},
author = {Yue Li and Lihong Zhang},
journal= {arXiv preprint arXiv:2504.11793},
year = {2025}
}