面向通信高效边缘学习的高维随机梯度量化
信息论
2020-06-24 v1 机器学习
信号处理
math.IT
摘要
边缘机器学习涉及将学习算法部署在无线网络边缘，以利用海量移动数据实现智能应用。主流的边缘学习方法——联邦学习，是基于分布式梯度下降发展起来的。基于该方法，随机梯度在边缘设备上计算，然后传输到边缘服务器以更新全局 AI 模型。由于每个随机梯度通常是高维的（包含数百万到数十亿个系数），通信开销成为边缘学习的瓶颈。为解决此问题，我们在本工作中提出一种新颖的分层随机梯度量化框架，并研究其对学习性能的影响。首先，该框架具有实用的分层架构，将随机梯度分解为其范数和归一化块梯度，并分别使用均匀量化器和 Grassmann 流形上的低维码本对其进行高效量化。随后，量化后的归一化块梯度被缩放并级联，利用在最小失真准则下设计的所谓铰链向量得到量化后的归一化随机梯度。该铰链向量也使用另一个低维 Grassmann 量化器进行高效压缩。该框架的另一特点是用于降低量化误差的比特分配方案。该方案确定所提框架中低维量化器的分辨率。通过分析作为量化比特数函数的收敛速率，证明该框架能保证模型收敛。此外，通过仿真表明，与最先进的 signSGD 方案相比，我们的设计在大幅降低通信开销的同时，两者取得了相似的学习精度。
引用
@article{arxiv.1910.03865,
title = {High-Dimensional Stochastic Gradient Quantization for Communication-Efficient Edge Learning},
author = {Yuqing Du and Sheng Yang and Kaibin Huang},
journal= {arXiv preprint arXiv:1910.03865},
year = {2020}
}