通过 Johnson-Lindenstrauss 引理加速随机 Kaczmarz 方法
数值分析
2011-02-15 v2
摘要
Kaczmarz 方法是一种通过迭代投影到解空间来求解超定相容线性方程组 Ax=b 的算法。Strohmer 和 Vershynin 提出的随机版本在期望意义上具有可证明的指数收敛速度，对于高度超定的系统，其性能甚至优于共轭梯度法。在本文中，我们提出了一种改进的随机 Kaczmarz 方法版本，该方法在每次迭代中从随机选择的集合中选择最优投影，这在大多数情况下显著提高了收敛速度。我们利用 Johnson-Lindenstrauss 降维技术来保持运行时间与原始随机版本相同量级，仅增加了额外的预处理时间。我们进行了一系列实证研究，证明了使用这种改进方法在收敛到解方面的显著加速。
引用
@article{arxiv.1008.4397,
title = {Acceleration of Randomized Kaczmarz Method via the Johnson-Lindenstrauss Lemma},
author = {Yonina C. Eldar and Deanna Needell},
journal= {arXiv preprint arXiv:1008.4397},
year = {2011}
}