为何要全网？通过部分网络更新提升联邦学习

联邦学习是一种分布式机器学习范式，旨在保护用户数据隐私，已成功实现于各种场景。在传统联邦学习中，本地模型的整个参数集在每个训练轮次中都会被更新和平均。尽管这种全网更新方法最大化了每个模型层的知识获取和共享，但会阻止全局模型的各层在完成每个客户的任务方面有效合作，我们将这种困难称为层级不匹配问题。这种不匹配问题在每次参数平均后都会重复出现，从而减慢模型收敛速度并降低整体性能。为解决层级不匹配问题，我们引入FedPart方法，该方法在每个通信轮次中限制模型更新为单个层或少数几层。此外，为维持知识获取和共享的效率，我们开发了几种策略来选择每个轮次中的可训练层，包括顺序更新和多轮循环训练。通过理论分析和实验，我们的发现表明，FedPart方法在收敛速度和准确率方面显著优于传统的全网更新策略，同时也减少了通信和计算开销。