面向医疗 NLP 的分层跳过式联邦学习：高效训练大型语言模型
机器学习
2025-04-16 v1 人工智能
计算与语言
摘要
联邦学习( FL)通过在组织之间进行协作模型训练而不共享原始数据，解决了医疗自然语言处理(NLP)中的关键隐私问题。然而，在联邦环境中训练大型语言模型( LLM)面临诸多挑战，包括通信开销和数据异构性。我们提出了分层跳过式联邦学习，其中仅对预训练 LLM 的选定层进行微调，其他层保持冻结。应用于 LLaMA 3.2-1B，我们的方法将通信成本降低约 70%，同时保持性能接近中心化训练。我们在临床命名实体识别和分类任务上使用 i2b2 和 MIMIC-III 数据集进行评估。我们的实验表明，分层跳过式 FL 在与竞争基线相比下表现更好，能够有效处理非独立同分布( non-IID)的临床数据分布，并在结合差分隐私时表现出良好的鲁棒性。这一方法代表了一种实用的医疗 NLP 隐私保护协作学习解决方案。
引用
@article{arxiv.2504.10536,
title = {Federated Learning with Layer Skipping: Efficient Training of Large Language Models for Healthcare NLP},
author = {Lihong Zhang and Yue Li},
journal= {arXiv preprint arXiv:2504.10536},
year = {2025}
}