去中心化学习对节点和数据扰动的鲁棒性

在人工智能研究的活跃格局中，去中心化学习正迎来崛起。去中心化学习允许各节点就地保存数据，并通过协作细化过程在节点之间共享从本地数据中提取的知识。这一范式支持数据无法离开本地节点的场景，如因隐私或主权原因，或因实时约束要求模型靠近推理所在位置。去中心化学习的分布式特性带来了与集中学习显著新的研究挑战。其中之一是鲁棒性问题。本文聚焦于节点扰动对集体学习过程的影响。假设网络中有一定比例的“核心”节点从网络中消失，我们关注不同情况：(i)数据在节点间的不同分布，以及(ii)扰动发生相对于协作学习任务开始时间的不同时点。通过这些配置，我们能够显示网络连接属性、在扰动前或缺乏扰动恢复知识的持久性，以及扰动前后数据可得性之间的非平凡相互作用。我们的结果表明，去中心化学习过程对网络扰动具有惊人的鲁棒性。只要网络中某处仍有最小限度的数据可用，学习过程就能够从扰动中恢复，并实现显著的分类准确率。这显著取决于扰动后剩余连通性，但我们表明即使是完全孤立的节点也能在扰动前保留大量知识。