分析异步坐标下降与试探过程的一种统一方法

本文关注迭代过程中的异步性，聚焦于梯度下降与试探过程这一基本价格动态。梯度下降是用于最小化凸函数的一类重要迭代算法。经典上，梯度下降一直是一个串行且同步的过程，尽管分布式与异步变体自 20 世纪 80 年代以来已有研究。坐标下降是梯度下降的一个常见研究版本。本文中，我们聚焦于形如 $F(x) = f(x) + \sum_{k=1}^n \Psi_k(x_k)$ 的凸函数 $F:\mathbb{R}^n\rightarrow\mathbb{R}$ 上的异步坐标下降，其中 $f:\mathbb{R}^n\rightarrow\mathbb{R}$ 是光滑凸函数，每个 $\Psi_k:\mathbb{R}\rightarrow\mathbb{R}$ 是单变量且可能非光滑的凸函数。此类函数出现在许多数据分析与机器学习问题中。我们对循环坐标下降、并行异步随机坐标下降以及一种相当一般的 worst-case 并行异步坐标下降给出了新的分析。对于上述所有情形，我们要么获得了显著改进的界，要么提供了首次分析。我们的分析均使用一个共同的摊还框架。将该框架应用于异步随机版本需要一些新思路，因为在面对可能破坏均匀性的异步操作时，如何确保在需要之处保持均匀分布并不显然。我们相信，我们的方法很可能适用于分析其他迭代异步随机过程。我们扩展了该框架，以证明试探过程（一种在一般均衡理论中被广泛研究的基本价格动态）的异步版本，对于具有 CES 效用或 Leontief 效用的 Fisher 市场，能够收敛至市场均衡；在此情形下，试探过程等价于坐标下降。