去中心化学习中的拓扑感知知识传播
机器学习
2025-05-20 v1 人工智能
分布式、并行与集群计算
摘要
去中心化学习使模型能够在无需集中协调或维护全局模型的情况下，跨越自然分布的数据进行协同训练。相比之下，设备被组织成任意的通信拓扑结构，只有与相邻设备才能进行通信。每个设备通过在本地数据上训练来维持自己的本地模型，并通过与邻居进行模型聚合来整合新的知识。因此，知识通过连续的聚合轮次在拓扑结构中传播。我们特别研究了离群分布（out-of-distribution, OOD）知识的传播。我们发现，流行的去中心化学习算法在将 OOD 知识有效传播到所有设备方面存在困难。进一步地，我们发现 OOD 数据在拓扑结构中的位置以及拓扑本身都会显著影响 OOD 知识的传播。随后，我们提出了面向加速设备间 OOD 知识传播的拓扑感知聚合策略。这些策略在拓扑中相对于拓扑不敏感的基线方法中，将 OOD 数据准确率提高了平均 123%。
引用
@article{arxiv.2505.11760,
title = {Topology-Aware Knowledge Propagation in Decentralized Learning},
author = {Mansi Sakarvadia and Nathaniel Hudson and Tian Li and Ian Foster and Kyle Chard},
journal= {arXiv preprint arXiv:2505.11760},
year = {2025}
}