论预训练对联邦学习的重要性和适用性

预训练在当今深度学习中十分普遍，用以改善所学模型的性能。然而，在联邦学习（FL）的文献中，神经网络大多以随机权重初始化。这引发了我们进行系统研究以探索 FL 中预训练的兴趣。在多个视觉识别基准上，我们发现预训练不仅能改进 FL，还能缩小其与对应的集中式学习之间的精度差距，尤其在客户端数据非独立同分布（non-IID）的挑战性情形下。为使我们的发现适用于预训练模型无法直接获得的情形，我们探索了利用合成数据甚至以去中心化方式利用客户端数据来进行预训练，并发现它们已能显著改进 FL。有趣的是，我们探索的许多技术彼此互补，可进一步提升性能，我们将此视为迈向真实世界应用中深度 FL 扩展的关键结果。我们在文末尝试理解预训练对 FL 的影响。我们发现预训练使得不同客户端数据条件下学到的全局模型收敛到同一损失盆地，并令 FL 中的全局聚合更为稳定。尽管如此，预训练似乎并未缓解局部模型漂移——FL 在非独立同分布数据下的一个根本问题。