FedMAX：缓解激活发散以实现准确且通信高效的联邦学习
机器学习
2020-12-29 v2 机器学习
摘要
在本文中，我们识别出联邦学习（FL）中因多用户间数据异构（即数据为非 IID）而发生的一种称为激活发散的新现象。具体而言，我们指出，即使部分用户共享少数共同类别且数据驻留于不同设备上，FL 中的激活向量仍可能发生发散。为解决激活发散问题，我们基于最大熵原理引入了一个先验；该先验对每设备的激活向量作最小信息假设，旨在使相同类别的激活向量在多个设备间尽可能相似。我们的结果表明，在 IID 与非 IID 设定下，我们提出的方法均取得了更好的准确率（得益于跨设备显著更相似的激活向量），并且比 FL 中最先进的方法更具通信效率。最后，我们在几个常见基准和两个大型医疗数据集上展示了我们方法的有效性。
引用
@article{arxiv.2004.03657,
title = {FedMAX: Mitigating Activation Divergence for Accurate and Communication-Efficient Federated Learning},
author = {Wei Chen and Kartikeya Bhardwaj and Radu Marculescu},
journal= {arXiv preprint arXiv:2004.03657},
year = {2020}
}