线性系统的随机重构：算法与收敛理论

我们发展了一族将任意相容线性系统重构为随机问题的方法。该重构由两个用户自定义参数控制：一个定义范数的正定矩阵，以及一个在随机矩阵上的任意离散或连续分布。我们的重构具有几种等价的解释，允许不同社区的研究者利用其特定领域的见解。具体而言，我们的重构可以等价地视为随机优化问题、随机线性系统、随机不动点问题和概率交集问题。我们证明了该重构精确的充分条件以及充分必要条件。此外，我们提出并分析了三种用于求解重构问题的随机算法——基本、并行和加速方法——它们具有全局线性收敛速度。这些速度可以解释为一个矩阵的条件数，该矩阵依赖于系统矩阵和重构参数。这产生了一种我们称之为随机预处理的新现象，指的是寻找参数（矩阵和分布）以导致足够小的条件数的问题。我们的基本方法可以等价地解释为应用于该重构的、具有固定步长（松弛参数）的随机梯度下降法、随机牛顿法、随机近端点法、随机不动点法和随机投影法。