通过权重剪枝实现稀疏化联邦神经影像模型
机器学习
2022-08-25 v1 密码学与安全
图像与视频处理
定量方法
摘要
大型深度神经网络的联邦训练往往由于模型规模增大导致通信更新成本增加而受到限制。在集中式环境中已设计多种模型剪枝技术以降低推理时间。将集中式剪枝技术与联邦训练相结合，通过在通信步骤前对模型参数进行剪枝来降低通信成本，似乎是直观的做法。此外，这种训练过程中的渐进式模型剪枝方法也可降低训练时间/成本。为此，我们提出 FedSparsify，在联邦训练过程中执行模型剪枝。我们在脑年龄预测任务（根据脑 MRI 估计人的年龄）的集中式与联邦式环境中实验表明，即使在数据分布高度异构的困难联邦学习环境下，模型也可被剪枝至 95% 稀疏度而不影响性能。模型剪枝的一个令人惊讶的好处是提升了模型隐私性。我们证明高稀疏度模型更不易受到成员推断攻击（一种隐私攻击）的影响。
引用
@article{arxiv.2208.11669,
title = {Towards Sparsified Federated Neuroimaging Models via Weight Pruning},
author = {Dimitris Stripelis and Umang Gupta and Nikhil Dhinagar and Greg Ver Steeg and Paul Thompson and José Luis Ambite},
journal= {arXiv preprint arXiv:2208.11669},
year = {2022}
}
备注
Accepted to 3rd MICCAI Workshop on Distributed, Collaborative and Federated Learning (DeCaF, 2022)