M-IHS：一种避免昂贵矩阵分解的加速随机预处理方法
最优化与控制
2020-12-01 v2 计算复杂性
摘要
我们提出并详细分析了动量迭代 Hessian 草图（Momentum Iterative Hessian Sketch, M-IHS）技术，这是一类针对大规模正则化线性最小二乘（Least Squares, LS）问题的求解器。所提出的 M-IHS 技术通过将重球加速（Heavy Ball Acceleration）引入迭代 Hessian 草图算法而获得，相较随机预处理技术有显著改进。通过在迭代中使用近似求解器，所提技术能够避免所有矩阵分解与求逆，这是相对于 Blendenpik 与 LSRN 等替代求解器的主要优势之一。与 Chebyshev 半迭代类似，M-IHS 变体不使用任何内积，并消除了分层或分布式存储系统中的相应同步步骤，但 M-IHS 比基于 Chebyshev 半迭代的求解器收敛更快。我们通过误差分析建立了各种随机分布所需草图尺寸的下界。与先前提出的产生解近似的方法不同，所提 M-IHS 技术可使用正比于统计维数的草图尺寸，而统计维数总是小于系数矩阵的秩。随着正则化参数或系数矩阵奇异值衰减率的增加，相对计算节省变得更加显著。
引用
@article{arxiv.1912.03514,
title = {M-IHS: An Accelerated Randomized Preconditioning Method Avoiding Costly Matrix Decompositions},
author = {Ibrahim Kurban Ozaslan and Mert Pilanci and Orhan Arikan},
journal= {arXiv preprint arXiv:1912.03514},
year = {2020}
}