一类迭代行作用方法综述：Kaczmarz方法

Kaczmarz算法是一种求解线性方程组的迭代方法。在处理大规模系统时，该算法在迭代算法中脱颖而出，原因有二。首先，在每次迭代中，Kaczmarz算法仅使用单个方程，从而使得每次迭代的计算量最小。其次，求解整个系统可能只需要使用一小部分方程。这些特性使得Kaczmarz算法受到了广泛关注。研究人员观察到，随机选择方程可以提高算法的收敛速度。这一见解导致了随机Kaczmarz算法的发展，随后又出现了若干其他变体。本文以大规模稠密随机系统为基准，对原生Kaczmarz算法及其众多变体进行了深入分析。通过研究，我们验证了对于相容系统，各种行采样方案可以优于原始Kaczmarz方法和随机Kaczmarz方法。具体而言，无放回采样和使用拟随机数是最快的技术。然而，对于不相容系统，用于最小二乘问题的共轭梯度法在这类系统上优于Kaczmarz方法的所有变体。