用于提取疫苗不良事件提及的私有跨机构联邦学习
机器学习
2021-03-16 v1 人工智能
密码学与安全
摘要
联邦学习（Federated Learning, FL）正迅速成为用户在不物理共享数据的情况下联合训练全局模型的分布式训练范式。用户可以间接贡献于并直接受益于用于训练全局模型的更庞大聚合数据语料。然而，关于 FL 在现实世界问题设置中成功应用的文献尚显匮乏。在本文中，我们描述了将基于 FL 的解决方案应用于命名实体识别（Named Entity Recognition, NER）任务的经验，该任务面向大规模疫苗接种项目中的不良事件检测应用。我们对基于 FL 训练所获收益的多个维度进行了全面的实证分析。此外，我们研究了在高度敏感场景下更严格差分隐私（Differential Privacy, DP）约束的影响，其中联邦用户必须实施本地 DP 以确保严格的隐私保证。我们表明，本地 DP 会严重削弱全局模型的预测精度，从而使用户失去参与联邦的积极性。对此，我们展示了近期个性化方法的创新如何帮助显著恢复损失的精度。我们将分析聚焦于联邦微调（Federated Fine-Tuning, FedFT）算法，并证明其不满足 PAC 可辨识性，从而使其在基于 FL 的训练中更具吸引力。
引用
@article{arxiv.2103.07491,
title = {Private Cross-Silo Federated Learning for Extracting Vaccine Adverse Event Mentions},
author = {Pallika Kanani and Virendra J. Marathe and Daniel Peterson and Rave Harpaz and Steve Bright},
journal= {arXiv preprint arXiv:2103.07491},
year = {2021}
}