面向异构联邦学习中维度坍塌的理解与缓解

联邦学习旨在出于隐私考虑在不共享数据的情况下跨不同客户端协同训练模型。然而，该学习范式的一个主要挑战是{\em 数据异构}问题，即各客户端间局部数据分布的差异。为应对此问题，我们首先研究了数据异构如何影响全局聚合模型的表示。有趣的是，我们发现异构数据导致全局模型遭受严重的{\em 维度坍塌}，即表示倾向于驻留于低维空间而非 ambient 空间。此外，我们在各客户端局部训练的模型上观察到类似现象，并推断全局模型上的维度坍塌继承自局部模型。另外，我们从理论上分析了梯度流动力学，以阐明数据异构如何导致局部模型的维度坍塌。为补救该由数据异构引起的问题，我们提出了{\sc FedDecorr}，一种能有效缓解联邦学习中维度坍塌的新方法。具体而言，{\sc FedDecorr}在局部训练期间施加正则化项，以鼓励表示的不同维度不相关。{\sc FedDecorr}实现友好且计算高效，在标准基准数据集上相较基线取得了一致的提升。代码：https://github.com/bytedance/FedDecorr。