vqSGD：向量量化随机梯度下降

在本工作中，我们提出一类向量量化方案 vqSGD（Vector-Quantized Stochastic Gradient Descent，向量量化随机梯度下降），其在具有收敛保证的一阶分布式优化中提供了通信开销的渐近降低。在此过程中我们推导出如下基本信息论事实：在约束 $\|{\hat{g}}({g})\|_2\le R$ 几乎必然成立下，对于任意 $d$ 维单位球中的 ${g}$，描述无偏估计量 ${\hat{g}}({g})$ 必要且充分的比特数为 $\Theta(\frac{d}{R^2})$。特别地，我们考虑一种基于点集凸包的随机化方案，其返回一个范数几乎必然有界的 $d$ 维梯度向量的无偏估计量。我们提供了多种近最优且高效的方案实例，仅需要 $o(d)$ 比特通信，代价是可容忍的误差增加。我们的量化方案实例利用二进制纠错码的性质获得，并在通信与量化估计误差之间提供平滑的权衡。此外，我们表明 vqSGD 还提供强隐私保证。