关于去中心化投影梯度下降方法的收敛性分析

本文研究去中心化优化问题：\begin{equation*} \min_{x \in \Omega}~f(x) = \frac{1}{n} \sum_{i=1}^n f_i (x), \end{equation*} 其中 $\Omega \subset \mathbb{R}^d$ 为凸域，且每个 $f_i : \Omega \rightarrow \mathbb{R}$ 为仅智能体 $i$ 可知的局部代价函数。一种基本算法是去中心化投影梯度法（DPG），由下式给出 \begin{equation*} x_i(t+1)=\mathcal{P}_\Omega\Big[\sum^n_{j=1}w_{ij} x_j(t) -\alpha(t)\nabla f_i(x_i(t))\Big] \end{equation*} 其中 $\mathcal{P}_{\Omega}$ 为到 $\Omega$ 的投影算子，且 $\{w_{ij}\}_{1\leq i,j \leq n}$ 为智能体间的通信权值。尽管该方法在文献中被广泛使用，但除特殊情形 $\Omega = \mathbb{R}^n$ 外，其收敛性质迄今尚未确立。本文在聚合代价 $f$ 强凸且各函数 $f_i$ 光滑时，建立了 DPG 的新收敛估计。若步长取为常数 $\alpha (t) \equiv\alpha >0$ 且适当小，我们证明每个 $x_i (t)$ 收敛到最优点的 $O(\sqrt{\alpha})$-邻域。此外，若域取为任意维 $d\in \mathbb{N}$ 的半空间 $\mathbb{R}^{d-1}\times \mathbb{R}_{+}$，我们通过证明点 $x_i (t)$ 收敛到最优点的 $O(\alpha)$-邻域进一步改进了收敛结果。同时，我们获得了关于递减步长的新收敛结果。数值实验支持了所述收敛结果。