线性系统的随机最速下降方法：贪心采样与动量
数值分析
2020-12-25 v1 数值分析
摘要
近期提出的自适应 Sketch & Project（SP）方法将若干著名投影方法，如随机 Kaczmarz（RK）、随机块 Kaczmarz（RBK）、Motzkin 松弛（MR）、随机坐标下降（RCD）、限幅坐标下降（CCD）等，统一为求解线性系统的单一框架。本工作中，我们首先提出随机最速下降（SSD）框架，将 SP 方法与求解正定线性方程组的著名最速下降（SD）方法相联系。随后我们在 SSD 框架中引入两种贪心采样策略，由此获得如采样 Kaczmarz Motzkin（SKM）、采样块 Kaczmarz（SBK）、采样坐标下降（SCD）等算法。借此我们将现有采样规则推广至统一框架，并发展了 SP 方法的高效版本。此外，我们将 Polyak 动量技术融入 SSD 方法以加速所得算法。我们给出了 SSD 方法与动量诱导 SSD 方法的全局收敛结果。而且，我们证明了两方法所生成迭代的 Cesaro 平均具有 收敛速率。通过变动 SSD 方法中的参数，我们将 SD 方法与 SP 方法的经典收敛结果作为特例得到。我们设计了计算实验以展示所提贪心采样方法与动量方法的性能。所提贪心方法在各类数据集（如随机测试实例及真实世界数据集 LIBSVM、矩阵市场收集的稀疏数据集）上显著优于现有方法。最后，本工作设计的动量算法加速了 SSD 方法的算法性能。
引用
@article{arxiv.2012.13087,
title = {Stochastic Steepest Descent Methods for Linear Systems: Greedy Sampling & Momentum},
author = {Md Sarowar Morshed and Sabbir Ahmad and Md Noor-E-Alam},
journal= {arXiv preprint arXiv:2012.13087},
year = {2020}
}