$r$Age-$k$：利用信息年龄因子的通信高效联邦学习
机器学习
2024-10-30 v1 信息论
信号处理
math.IT
机器学习
摘要
联邦学习（FL）是一种协作方法，多个客户端在参数服务器（PS）的协调下训练一个统一的机器学习模型。然而，该方法面临两个关键挑战：数据异质性和通信开销。数据异质性是指由于不同客户端的数据异构导致的模型训练不一致。通信开销源于 PS 与客户端之间交换的大量参数更新。现有解决方案通常分别应对这些挑战。本文引入了一种新的通信高效算法，利用信息年龄指标同时解决 FL 的这两个局限性。我们在 PS 端引入年龄向量，用于跟踪不同模型参数从客户端更新的频率。PS 利用此向量有选择地向每个客户端请求特定梯度索引的更新。此外，PS 使用年龄向量来识别具有统计相似数据的客户端，并将它们分组到集群中。PS 结合集群内客户端的年龄向量，以高效协调集群内客户端之间的梯度索引更新。我们在高度非独立同分布设置下使用 MNIST 和 CIFAR10 数据集评估了我们的方法。实验结果表明，我们提出的方法可以加速训练，在效率上超越了其他通信高效策略。
引用
@article{arxiv.2410.22192,
title = {$r$Age-$k$: Communication-Efficient Federated Learning Using Age Factor},
author = {Matin Mortaheb and Priyanka Kaswan and Sennur Ulukus},
journal= {arXiv preprint arXiv:2410.22192},
year = {2024}
}