在代价函数中利用冗余实现分布式优化与学习的弹性

本文研究基于服务器架构下的弹性分布式优化与随机机器学习问题。系统由一个服务器和多个智能体组成，每个智能体具有一个局部代价函数。智能体与服务器协作以寻找其聚合代价函数的最小值。我们考虑部分智能体可能异步和/或拜占庭故障的情况。此时，经典的分布式梯度下降（DGD）算法失效。我们的目标是设计在存在异步与拜占庭故障情况下提升DGD效能的技术。为此，我们首先提出以通用的$(f, \,r; \epsilon)$-冗余概念对智能体的代价函数建模，其中$f$和$r$分别为拜占庭故障与异步的参数，$\epsilon$刻画智能体代价函数间的接近程度。这使我们能针对任意给定的分布式优化问题量化智能体代价函数间的冗余水平。我们从理论和经验上证明了所提冗余模型在提升DGD对异步与拜占庭智能体鲁棒性方面的价值，及其对分布式随机梯度下降（D-SGD）用于含异步与拜占庭智能体的鲁棒分布式机器学习的扩展。