从恶化到加速：一种修复联邦优化中步异步性的校准方法
分布式、并行与集群计算
2023-02-28 v2 机器学习
摘要
在联邦优化设定中，全局模型被周期性聚合，当参与者通过高效利用计算资源进行模型训练时，会出现步异步性。众所周知，在非独立同分布数据下，步异步性导致目标不一致，从而降低模型精度。为解决此问题，我们提出一种新算法 FedaGrac，其将局部方向校准至预测性全局方向。利用估计的方向，我们保证聚合模型不会过度偏离全局最优，同时充分利用较快节点的局部更新。我们从理论上证明 FedaGrac 比最先进方法具有改进的收敛速率阶，并消除了步异步性的负面影响。实证结果表明，我们的算法加速了训练并提升了最终精度。
引用
@article{arxiv.2112.09355,
title = {From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization},
author = {Feijie Wu and Song Guo and Haozhao Wang and Zhihao Qu and Haobo Zhang and Jie Zhang and Ziming Liu},
journal= {arXiv preprint arXiv:2112.09355},
year = {2023}
}
备注
Accepted by IEEE Transactions on Parallel and Distributed Systems