非 IID 数据的去中心化学习中的动态拓扑优化

去中心化学习（DL）使一组节点能够在没有中心协调的情况下协同训练模型，提供了隐私和可扩展性的优势。然而，DL 在数据分布为非独立同分布（non-IID）且通信拓扑为静态的情况下，难以训练出高精度模型。为解决这些问题，我们提出了 Morph，即一种针对 DL 的拓扑优化算法。在 Morph 中，节点基于最大模型不相似性选择同伴进行模型交换。Morph 在保持固定入度的同时，通过基于 gossip 的同伴发现和基于多样性的邻居选择动态重塑通信图，从而提高了对数据异构性的鲁棒性。在 CIFAR-10 和 FEMNIST 上进行的实验表明，Morph 一致优于静态和流行病学基线，同时紧密跟踪完全连接的上限。在 CIFAR-10 上，Morph 相对于最先进的基线实现了 $1.12$ 倍的测试准确率提升。在 FEMNIST 上，Morph 的准确率比 Epidemic Learning 高出 $1.08$ 倍。类似的趋势也适用于 50 个节点的部署，其中 Morph 在 CIFAR-10 上将与完全连接上限的差距缩小至 $0.5$ 个百分点。这些结果表明，Morph 在获得更高的最终准确率、更快的收敛速度以及更稳定的学习方面表现更好（ quantified by 更低的节点间方差），同时所需的通信轮数更少，无需全局知识。