分布式与联邦学习中通信压缩的不确定性原理及最优压缩器探寻

为了缓解分布式与联邦学习中的高通信成本，各种向量压缩方案（如量化、稀疏化和抖动）已变得非常流行。在设计压缩方法时，人们旨在以尽可能少的比特进行通信，从而最小化每轮通信的成本，同时试图对通信消息施加尽可能小的失真（方差），从而最小化压缩对总体通信轮数的不利影响。然而，直观来看，这两个目标根本上是冲突的：我们允许的压缩越多，消息失真就越严重。我们将这一直觉形式化，并证明了随机压缩算子的不确定性原理，从而从数学上量化了这一局限，并有效地给出了通信压缩可实现性的渐近紧下界。受这些进展的推动，我们呼吁探寻最优压缩算子。作为朝此方向迈出的第一步，我们考虑一种受向量Kashin表示启发的无偏压缩方法，称之为Kashin压缩（KC）。与所有先前提出的压缩机制不同，KC享有维度无关的方差界，即使在对每个向量元素仅需通信极少比特的情形下，我们也推导出了其显式公式。