一种利用 Barzilai-Borwein 技术作为二阶信息的随机方差缩减梯度法
最优化与控制
2022-08-24 v1 机器学习
机器学习
摘要
在本文中，我们考虑通过融入目标函数的曲率信息来改进随机方差缩减梯度（SVRG）方法。我们提出利用计算高效的 Barzilai-Borwein（BB）方法将其融入 SVRG 中，以减小随机梯度的方差。我们还融入了一个 BB 步长作为其变体。我们证明了其线性收敛定理，该定理不仅适用于所提出的方法，也适用于其他现有的带有二阶信息的 SVRG 变体。我们在基准数据集上进行了数值实验，结果表明所提出的具有常数步长的方法在一些测试问题上优于现有的方差缩减方法。
引用
@article{arxiv.2208.11075,
title = {A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information},
author = {Hardik Tankaria and Nobuo Yamashita},
journal= {arXiv preprint arXiv:2208.11075},
year = {2022}
}