图拓扑不变的梯度与采样复杂度用于分散式与随机优化

分散式多智能体优化中的一个基本问题是在梯度/采样复杂度与通信复杂度之间的权衡。我们提出新算法，其梯度与采样复杂度是图拓扑不变的，而通信复杂度保持最优。对凸光滑确定性问题，我们提出一个原始对偶滑动（PDS）算法，以 $O((\tilde{L}/\epsilon)^{1/2})$ 的梯度复杂度和 $O((\tilde{L}/\epsilon)^{1/2}+\|\mathcal{A}\|/\epsilon)$ 的通信复杂度计算一个 $\epsilon$-解，其中 $\tilde{L}$ 为目标的光滑参数，$\mathcal{A}$ 与通信网络的图拉普拉斯或定向关联矩阵的转置有关。借助 $\mu$-强凸性，结果可分别改进为 $O((\tilde{L}/\mu)^{1/2}\log(1/\epsilon))$ 与 $O((\tilde{L}/\mu)^{1/2}\log(1/\epsilon) + \|\mathcal{A}\|/\epsilon^{1/2})$。我们还提出一个随机变体，即针对随机梯度问题的原始对偶滑动（SPDS）算法。SPDS 算法利用小批量技术，使智能体可同时执行采样与通信。它以 $O((\tilde{L}/\epsilon)^{1/2} + (\sigma/\epsilon)^2)$ 的采样复杂度计算一个随机 $\epsilon$-解，在强凸下可改进为 $O((\tilde{L}/\mu)^{1/2}\log(1/\epsilon) + \sigma^2/\epsilon)$。此处 $\sigma^2$ 为方差。SPDS 的通信复杂度与确定情形相同。上述所有梯度与采样复杂度均匹配集中式凸光滑优化的下复杂度界，且与网络结构无关。据我们所知，这些梯度与采样复杂度此前在约束可行集上的分散式优化中从未获得。