Chisme：用于物联网智能的完全去中心化差异化深度学习

随着终端用户设备能力的提升和互联网边缘智能服务需求的增长，分布式学习已成为一项关键使能技术。联邦学习 (FL) 和去中心化联邦学习 (DFL) 等现有方法使客户端之间能够实现分布式学习，而流言学习 (GL) 方法已出现，以应对资源受限、连接困难的免基础设施环境中潜在的挑战。然而，大多数分布式学习方法假设数据分布大致同质，可能未考虑或利用客户端及其底层数据分布的异质性。本文提出了 Chisme，一种新颖的完全去中心化分布式学习算法，旨在应对在网络边缘上下文中实现鲁棒智能的挑战，这些上下文以异质数据分布、间歇性连接和稀疏网络基础设施为特征。Chisme 利用从接收到的模型交换中计算的基于余弦相似度的数据亲和性启发式方法，来指导接收模型在合并到本地模型时的 influence 程度。通过这样做，它促进了具有更相似模型学习进展的客户端之间更强的合并 influence，使客户端能够在构建更通用知识的广泛协作与构建特定知识的更选择性协作之间战略性地平衡。我们在图像识别和时间序列预测场景下评估 Chisme，同时考虑不同的网络连接条件，这些条件代表了真实的分布式智能系统。实验表明 Chisme 在几乎所有情况下都优于最先进的边缘智能方法——使用 Chisme 的客户端展现出更快的训练收敛、更低的训练后最终损失以及客户端之间更低的性能差异。