具有几何平滑动量的随机 Kaczmarz 算法
数值分析
2024-08-27 v3 数值分析
概率论
机器学习
摘要
本文研究了向随机 Kaczmarz 算法添加几何平滑动量的效果，该算法是线性最小二乘损失函数上随机梯度下降的一个实例。我们证明了关于最小二乘损失定义矩阵的奇异向量方向上的期望误差的结果。我们提供了几个数值示例来说明我们结果的实用性，并提出了一些问题。
引用
@article{arxiv.2401.09415,
title = {Randomized Kaczmarz with geometrically smoothed momentum},
author = {Seth J. Alderman and Roan W. Luikart and Nicholas F. Marshall},
journal= {arXiv preprint arXiv:2401.09415},
year = {2024}
}
备注
28 pages, 16 figures