编码梯度聚合：边缘节点与辅助节点间通信开销的权衡
信息论
2021-05-10 v1 分布式、并行与集群计算
math.IT
摘要
边缘/客户端节点生成的数据量不断增加以及隐私问题导致了边缘学习，其中计算在边缘设备上执行并通信到中心节点以更新模型。边缘节点带宽低且可能仅间歇性可用。网络中存在辅助节点，帮助边缘节点与服务器通信。边缘节点将本地梯度通信给辅助节点，辅助节点在可能聚合后将这些消息中继到中心节点。最近，提出了分别使用重复码和最大距离可分（MDS）码的方案，即已知的对齐 MDS 编码（AMC）方案和对齐重复编码（ARC）方案。观察到在 AMC 方案中边缘节点与辅助节点间的通信是最优的，但辅助节点与主控节点间通信开销增加。获得了辅助节点与主控节点间通信开销的上界。本文借助金字塔码（一类著名的局部可修复码）建立了边缘节点与辅助节点间通信开销的权衡。精确刻画了辅助节点和边缘节点两处的通信开销。利用所开发的技术，可以计算使用 MDS 码方案中辅助节点的精确通信开销。最后，我们为现有 AMC 和 ARC 方案提供了两种改进的聚合策略，在不改变任何码参数的情况下显著降低了辅助节点的通信开销。
引用
@article{arxiv.2105.02919,
title = {Coded Gradient Aggregation: A Tradeoff Between Communication Costs at Edge Nodes and at Helper Nodes},
author = {Birenjith Sasidharan and Anoop Thomas},
journal= {arXiv preprint arXiv:2105.02919},
year = {2021}
}
备注
A shorter version accepted in 2021 IEEE International Symposium on Information Theory