利用闭式分类器加速异构联邦学习
机器学习
2024-06-04 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习方法在高度统计异质的环境中常常表现不佳。实际上，非独立同分布的数据分布会导致客户端漂移和有偏的局部解，这在最终分类层尤为明显，对收敛速度和准确率产生负面影响。为解决此问题，我们引入了联邦递归岭回归（Fed3R）。我们的方法利用预训练特征以闭式形式计算岭回归分类器。Fed3R 对统计异质性免疫，且对客户端的采样顺序不变。因此，它在跨设备场景中特别有效。此外，它在通信和计算成本方面快速高效，所需资源比竞争对手少两个数量级。最后，我们建议将 Fed3R 参数作为 softmax 分类器的初始化，然后使用任何联邦算法对模型进行微调（带微调的 Fed3R，Fed3R+FT）。我们的发现还表明，在跨设备设置中，保持固定的分类器有助于稳定训练并学习更具判别性的特征。官方网站：https://fed-3r.github.io/。
引用
@article{arxiv.2406.01116,
title = {Accelerating Heterogeneous Federated Learning with Closed-form Classifiers},
author = {Eros Fanì and Raffaello Camoriano and Barbara Caputo and Marco Ciccone},
journal= {arXiv preprint arXiv:2406.01116},
year = {2024}
}
备注
Accepted at ICML 2024 - https://fed-3r.github.io/