面向热数据与冷数据特征的联邦子模型优化
机器学习
2023-04-06 v4 人工智能
摘要
我们研究了联邦学习背后的实际数据特征，其中来自客户端的非独立同分布数据具有稀疏特征，且某个客户端的本地数据通常仅涉及完整模型的一小部分，称为子模型。由于数据稀疏性，经典的联邦平均（FedAvg）算法或其变体将严重减速，因为在更新全局模型时，每个客户端对其子模型之外完整模型的零更新被不准确地聚合。因此，我们提出了联邦子模型平均（FedSubAvg），确保每个模型参数的全局更新期望等于涉及该参数的客户端本地更新的平均值。我们通过推导一种称为逐元素梯度范数的新度量下的上界，从理论上证明了 FedSubAvg 的收敛速率。特别地，这一新度量能够刻画稀疏数据上联邦优化的收敛性，而 FedAvg 及其变体中使用的平方梯度范数常规度量则无法做到。我们在公开和工业数据集上广泛评估了 FedSubAvg。评估结果表明 FedSubAvg 显著优于 FedAvg 及其变体。
引用
@article{arxiv.2109.07704,
title = {Federated Submodel Optimization for Hot and Cold Data Features},
author = {Yucheng Ding and Chaoyue Niu and Fan Wu and Shaojie Tang and Chengfei Lv and Yanghe Feng and Guihai Chen},
journal= {arXiv preprint arXiv:2109.07704},
year = {2023}
}