融合异构神经网络中的神经元干扰现象研究

在单轮通信中将分别位于不同客户端上训练得到的深度学习模型融合为一个全局模型，是联邦学习的一种直接实现方式。尽管当前的模型融合方法在实验上被证明能够融合架构几乎相同的神经网络，但它们很少得到理论分析。在本文中，我们揭示了神经元干扰现象，即来自异构本地模型的神经元相互干扰。我们从贝叶斯视角结合客户端间的数据异构性以及神经网络的特性给出了详细解释。此外，为验证我们的发现，我们提出了一种排除神经元干扰并通过自适应选择本地模型（称为AMS）根据输入执行预测的试验性方法，以融合神经网络。实验表明，AMS在数据异构性方面比一般的模型融合与集成方法更具鲁棒性。这意味着模型融合中考虑神经干扰的必要性。此外，作为一种实验性算法，AMS可用于融合具有不同架构的模型，我们也列出了AMS未来工作的若干可能扩展。