网络拓扑对全去中心化学习的影响：一项初步探究

在去中心化机器学习系统中，数据通常划分于多个设备或节点之间，每个节点使用自身数据训练本地模型。这些本地模型随后被共享与合并，以创建能对新数据准确预测的全局模型。本文中，我们开始探究连接节点的网络拓扑对通过节点间直接协作训练的机器学习模型性能的作用。我们研究不同类型拓扑如何影响“知识传播”，即节点将其本地模型吸收网络中其他节点可用数据学习模式所得知识的能力。具体而言，我们强调了在此过程中连接度较高与较低的节点（枢纽与叶节点）的不同作用，以及宏观网络属性（主要是度分布与模块性）的作用。其中，我们表明：尽管已知网络组件间即便微弱连接也足以实现信息扩散，但其可能不足以实现知识传播。更直观地，我们还发现枢纽比叶节点在知识传播中作用更显著，尽管这不仅出现在重尾分布下，也出现在“枢纽”仅比叶节点略多连接时。最后，我们展示紧密抱团的社群会严重阻碍知识传播。