驯服 D2D 雾学习中的子网漂移：一种分层梯度跟踪方法
网络与互联网体系结构
2024-01-11 v3
摘要
联邦学习（FL）在雾网络中实施时会遇到可扩展性挑战。半去中心化联邦学习（SD-FL）提出了一种解决方案，将模型协作分为两个阶段：在较低阶段，采用设备到设备（D2D）通信在子网络（子网）内进行局部模型聚合，而较高阶段则处理设备-服务器（DS）通信以进行全局模型聚合。然而，现有的 SD-FL 方案基于梯度多样性假设，随着数据分布变得更加异构，这些假设成为性能瓶颈。在这项工作中，我们开发了半去中心化梯度跟踪（SD-GT），这是第一种 SD-FL 方法，通过将跟踪项纳入每个通信层的设备更新中，消除了对此类假设的需求。SD-GT 的分析表征揭示了在适当选择步长的情况下，非凸和强凸问题的收敛上界。我们利用所得边界开发了一种协同优化算法，用于根据性能-效率权衡来优化子网采样率和 D2D 轮次。我们随后的数值评估表明，在多个数据集上，相对于 SD-FL 和梯度跟踪的基线，SD-GT 在训练模型质量和通信成本方面都取得了显著改进。
引用
@article{arxiv.2312.04728,
title = {Taming Subnet-Drift in D2D-Enabled Fog Learning: A Hierarchical Gradient Tracking Approach},
author = {Evan Chen and Shiqiang Wang and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2312.04728},
year = {2024}
}
备注
This paper is accepted for publication in the proceedings of 2024 IEEE International Conference on Computer Communications (INFOCOM)