一种带对角 Barzilai-Borwein 步长的变度量小批量近端随机递归梯度算法
最优化与控制
2020-10-05 v1 机器学习
数值分析
数值分析
摘要
带有不同度量选择的变度量近端梯度方法已广泛用于复合优化。将 Barzilai-Borwein（BB）方法与度量的对角选择策略相结合，对角 BB 步长可保持与标量 BB 步长相同的低单步计算代价，并更好地捕捉问题的局部几何。本文提出一种变度量小批量近端随机递归梯度算法 VM-mSRGBB，其使用新的对角 BB 步长更新度量。建立了 VM-mSRGBB 对强凸、非强凸与凸函数的线性收敛性。在标准数据集上的数值实验表明，VM-mSRGBB 优于或可与一些采用最佳调优标量步长或 BB 步长的方差缩减随机梯度方法相媲美。此外，VM-mSRGBB 的性能优于一些先进的小批量近端随机梯度方法。
引用
@article{arxiv.2010.00817,
title = {A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize},
author = {Tengteng Yu and Xin-Wei Liu and Yu-Hong Dai and Jie Sun},
journal= {arXiv preprint arXiv:2010.00817},
year = {2020}
}
备注
13 pages, 3 figures