贪婪有效：采样 Kaczmarz-Motzkin 算法的改进分析

随机迭代算法因能求解大规模方程组 $Ax=b$ 而在机器学习和信号处理中受到近期关注。此类算法的一个例子是随机 Kaczmarz (RK) 算法，它每次仅对矩阵 $A$ 的单个行进行操作。RK 随机选取 $A$ 的一行进行处理，而 Motzkin 方法 (MM) 采用贪婪的行选择。这两种算法的联系催生了采样 Kaczmarz-Motzkin (SKM) 算法，该算法采样 $A$ 的 $\beta$ 行随机子集，然后贪婪地选择该子集中最优的行。尽管三种算法的计算代价各异，但均已被证明具有相同的收敛速率理论上界。本文给出了从随机 (RK) 到贪婪 (MM) 方法范围的改进分析。该分析改进了先前已知的 SKM 收敛界，刻画了部分贪婪选择方案的益处。本工作还进一步推广了先前已知结果，去除了 $\beta$ 必须在每次迭代中固定以及 $A$ 必须具有归一化行的理论假设。