面向高效联邦学习的自适应梯度稀疏化：一种在线学习方法
机器学习
2020-03-23 v3 分布式、并行与集群计算
最优化与控制
机器学习
摘要
联邦学习（FL）是一种利用本地实体收集的地理分散数据训练机器学习模型的新兴技术。它包括本地计算和同步步骤。为降低通信开销并提升FL的整体效率，可应用梯度稀疏化（GS），即仅传输梯度中一小部分重要元素而非完整梯度。现有关于GS的工作针对数据中心内i.i.d.分布的数据采用固定的梯度稀疏度。在本文中，我们考虑自适应的稀疏度以及非i.i.d.本地数据集。我们首先提出一种公平性感知的GS方法，确保不同客户端提供相近数量的更新。然后，以最小化总体训练时间为目标，我们提出了一种新颖的在线学习形式化方法及算法，用于自动确定由梯度稀疏度控制的近最优通信与计算权衡。该在线学习算法使用目标函数导数的估计符号，其regret bound渐近等于可获得精确导数的情形。使用真实数据集的实验证实了我们所提方法的优势，在有限训练时间内模型准确率提升高达。
引用
@article{arxiv.2001.04756,
title = {Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach},
author = {Pengchao Han and Shiqiang Wang and Kin K. Leung},
journal= {arXiv preprint arXiv:2001.04756},
year = {2020}
}
备注
Accepted at IEEE ICDCS 2020