用于线性可行性问题的重球动量诱导采样 Kaczmarz Motzkin 方法
最优化与控制
2020-12-08 v2
摘要
最近提出的采样 Kaczmarz Motzkin（SKM）算法在求解大规模线性可行性（LF）问题时与最先进的方法相比表现良好。为了探索在求解 LF 问题背景下的动量概念，在这项工作中我们提出了一种称为动量采样 Kaczmarz Motzkin（MSKM）的动量诱导算法。MSKM 算法通过将重球动量整合到 SKM 算法中而发展出来。我们提供了对所提 MSKM 算法的严格收敛分析，由此获得了几种用于求解 LF 问题的 Kaczmarz 类型方法的收敛结果。此外，在稍弱的条件下，我们建立了由 MSKM 算法生成的序列的所谓 Cesaro 平均的次线性收敛速率。然后我们通过人工和真实数据集上的详尽数值实验来支持理论结果。为了公平比较，我们在多种测试实例上将所提方法与 SKM 方法进行比较：1）随机生成的实例，2）Netlib 线性规划，3）线性分类测试实例。我们还将所提方法与传统的内部点法（IPM）和活跃集法（ASM）在 Netlib 线性规划上进行比较。所提动量诱导算法在所有考虑的测试实例上显著优于基本 SKM 方法（无动量）。此外，所提算法与 IPM 和 ASM 算法相比也表现良好。最后，我们提出了 MSKM 算法的随机版本，称为随机动量采样 Kaczmarz Motzkin（SSKM），以更好地处理大规模真实世界数据。我们以对所提 SSKM 算法的严格理论收敛分析结束了我们的工作。
引用
@article{arxiv.2009.08251,
title = {Heavy Ball Momentum Induced Sampling Kaczmarz Motzkin Methods for Linear Feasibility Problems},
author = {Md Sarowar Morshed and Md. Noor-E-Alam},
journal= {arXiv preprint arXiv:2009.08251},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2002.07321