中文

线性可行性问题的草图与投影方法:贪婪采样与动量

数值分析 2020-12-08 v1 数值分析 最优化与控制

摘要

我们为求解线性可行性问题的草图与投影(Sketch & Project)方法开发了两种贪婪采样规则。所提出的贪婪采样规则推广了现有的最大距离采样规则和均匀采样规则,并生成了草图与投影方法的更快变体。我们还引入了贪婪封顶采样规则,改进了现有的封顶采样规则。此外,我们将所谓的重球动量技术纳入所提出的贪婪草图与投影方法中。通过改变采样规则、草图向量等参数,我们恢复了若干著名算法作为特例,包括随机 Kaczmarz 法(RK)、Motzkin 松弛法(MR)、采样 Kaczmarz Motzkin 法(SKM)。我们还获得了若干新方法,如随机坐标下降法、采样坐标下降法、封顶坐标下降法等,用于求解线性可行性问题。我们给出了基本贪婪方法和带动量的贪婪方法的全局线性收敛结果。在更弱的条件下,我们证明了两种方法所生成序列的 Cesaro 平均的 O(1k)\mathcal{O}(\frac{1}{k}) 收敛速率。我们将所谓的动量方法的可行性证书结果推广到所提出的动量方法,该结果推广了若干现有结果。为支持所提出的理论结果,我们在随机生成的测试实例以及稀疏真实世界测试实例上进行了全面的数值实验。所提出的贪婪采样方法显著优于现有的采样方法。最后,本工作中设计的动量变体扩展了草图与投影方法在所有采样规则下的计算性能。

关键词

引用

@article{arxiv.2012.02913,
  title  = {Sketch & Project Methods for Linear Feasibility Problems: Greedy Sampling & Momentum},
  author = {Md Sarowar Morshed and Md. Noor-E-Alam},
  journal= {arXiv preprint arXiv:2012.02913},
  year   = {2020}
}