具有分布式批量梯度计算的抗拜占庭非凸SVRG方法

在这项工作中，我们考虑在对抗环境下最小化非凸函数 $f(x) = \mathbb{E}_{\xi \sim \mathcal{D}} f(x; \xi)$ 的分布式随机优化问题，其中各个函数 $f(x; \xi)$ 也可能为非凸。我们假设在总共 $K$ 个节点中至多 $\alpha$ 比例的节点可能为拜占庭节点。我们针对该问题提出了一种类似于鲁棒随机方差缩减梯度（SVRG）的算法，其中批量梯度在工作节点（WNs）上计算，随机梯度在服务器节点（SN）上计算。对于非凸优化问题，我们证明在每个节点（SN和WNs）上平均需要 $\tilde{O}\left( \frac{1}{\epsilon^{5/3} K^{2/3}} + \frac{\alpha^{4/3}}{\epsilon^{5/3}} \right)$ 次梯度计算以达到一个 $\epsilon$-平稳点。所提出的算法通过设计一种与问题维度无关的 novel 拜占庭过滤规则来保证收敛。重要的是，我们刻画了网络中存在的拜占庭节点比例 $\alpha$ 对算法收敛性能的影响。