面向随机接入信道的联邦学习梯度更新年龄
机器学习
2024-10-17 v1 分布式、并行与集群计算
摘要
本文研究了在随机接入信道（RACH）上进行深度神经网络（DNN）联邦训练的问题，RACH 应用于计算机网络、无线网络和移动通信系统中。更准确地说，一组远程用户在参数服务器（PS）的协调下，使用 SGD 进行集中式 DNN 模型的训练。本地模型更新通过 RACH 使用槽位 ALOHA 协议传输。PS 收集来自远程用户的更新，累积它们，并在定期时间间隔发送中心模型更新给用户。我们将这种设置称为 RACH-FL 设置。RACH-FL 设置关键性地解决了在远程用户与 PS 之间进行通信约束的协同设计问题，即（i）客户端选择和（ii）梯度压缩策略。对于 RACH-FL 设置，我们提出了一种政策，我们称之为“梯度年龄”（AoG）政策，其中（i）使用 top-K 稀疏化进行梯度压缩，（ii）使用记忆累积进行误差校正，以及（iii）通过将当前本地记忆大小减去梯度更新的大小与阈值进行比较来获得槽位传输概率。从直观上看，AoG 度量了记忆状态的“新鲜度”，类似于通信理论中的 age-of-information（AoI）概念，为该政策提供了相当自然的解释。数值仿真显示，AoG 政策相对于其他 RACH-FL 政策表现优越。
引用
@article{arxiv.2410.11986,
title = {Age-of-Gradient Updates for Federated Learning over Random Access Channels},
author = {Yu Heng Wu and Houman Asgari and Stefano Rini and Andrea Munari},
journal= {arXiv preprint arXiv:2410.11986},
year = {2024}
}