面向通信压缩联邦学习的随机控制平均方法

通信压缩作为一种旨在减少空中传输信息量的技术，因其在缓解联邦学习（FL）通信开销方面的潜力而受到广泛关注。然而，由于压缩引起的信息失真与 FL 的固有特性（如部分参与和数据异构性）之间的相互作用，通信压缩给 FL 带来了新的挑战。尽管近期有所进展，压缩 FL 方法的性能尚未被充分挖掘。现有方法要么无法适应任意数据异构性或部分参与，要么对压缩施加严格条件。本文通过提出一种等价但更高效/简化的表述（上行链路通信成本减半）重新审视了开创性的随机控制平均方法。在此实现基础上，我们提出两种压缩 FL 算法 SCALLION 和 SCAFCOM，分别支持无偏和有偏压缩。所提方法在通信与计算复杂度上均优于现有压缩 FL 方法。此外，SCALLION 和 SCAFCOM 可适应任意数据异构性，且不对压缩误差作任何额外假设。实验表明，SCALLION 和 SCAFCOM 能以大幅降低的上行链路通信匹配相应全精度 FL 方法的性能，并在相同通信预算下优于近期压缩 FL 方法。