用于鲁棒去中心化学习的自调节随机漫步
机器学习
2025-02-11 v2 分布式、并行与集群计算
信息论
math.IT
应用统计
摘要
考虑多个在图上执行某种计算任务的随机漫步（RW）的情况。例如，在通过 RW 的去中心化学习中，模型在每个迭代中基于访问节点的局部数据进行更新，然后传递给随机选择的邻居。由于节点或链路故障，RW 可能失败。目标是维持所需数量的 RW 以确保故障鲁棒性。由于缺乏中心实体跟踪哪些 RW 已故障以替换存活的 RW（通过复制），实现这一目标具有挑战性。如果不进行复制，RW 的数量最终会归零，导致系统灾难性故障。我们提出两种去中心化算法称为 DecAFork 和 DecAFork+，可即使在任意 RW 故障下也能将图中的 RW 数量维持在所需值附近。节点持续估计存活 RW 的数量，通过估计其返回时间分布来检测故障并复制 RW。DecAFork+ 另外允许终止以避免通过过多复制导致网络过载。我们提供大量数值仿真，显示 DecAFork 和 DecAFork+ 在故障检测和反应方面相对于基准的性能，以及两者算法性能的理论保证。
引用
@article{arxiv.2407.11762,
title = {Self-Regulating Random Walks for Resilient Decentralized Learning on Graphs},
author = {Maximilian Egger and Rawad Bitar and Ghadir Ayache and Antonia Wachter-Zeh and Salim El Rouayheb},
journal= {arXiv preprint arXiv:2407.11762},
year = {2025}
}