在关键处比较：使用逐层正则化改进异构数据上的联邦学习

联邦学习是一种广泛采用的在分布式数据上训练神经网络的方法。一个主要限制是当数据异构分布时会出现性能下降。尽管许多工作试图解决该问题，这些方法表现不佳，因为其建立在了对神经网络有限的理解之上。在本文中，我们验证了神经网络中仅某些重要层需要正则化以进行有效训练。我们还验证了中心核对齐（CKA）能最准确地计算在不同数据上训练的神经网络各层间的相似性。通过在训练中对重要层施加基于 CKA 的正则化，我们显著提升了异构环境下的性能。我们提出 FedCKA：一个简单框架，在各种深度学习任务上优于先前最先进（SOTA）方法，同时提升了效率与可扩展性。