无伪逆随机线性系统方法：统一框架与加速

我们提出了一种用于分析与设计求解各类线性系统（包括相容或不相容、满秩或秩亏）的随机算法的新框架。我们的方法由四个随机采样参数表述，使得该方法能在统一框架下涵盖许多现有随机算法，包括双随机 Gauss-Seidel、随机 Kaczmarz 方法、随机坐标下降法以及 Gaussian Kaczmarz 方法。与基于投影的块算法（每次迭代利用伪逆求解最小二乘问题）相比，我们的设计无需伪逆。此外，新方法的灵活性也支持作为特例设计若干新方法。我们将 Polyak 重球动量技术引入框架以改善方法的收敛行为。我们证明了方法的全局线性收敛速率，以及期望迭代范数情形的加速线性速率。最后提供了数值实验以验证我们的结果。