采用对角 Barzilai-Borwein 步长的变度量近端梯度法
最优化与控制
2019-10-17 v1 机器学习
机器学习
摘要
变度量近端梯度法（VM-PG）是一类广泛使用的凸优化方法。近来，关于不同度量选择下 VM-PG 的理论保证已有大量研究。然而，大多数此类度量选择依赖于（昂贵的）Hessian 矩阵，或仅限于带有大量保护措施的标量步长，如 Barzilai-Borwein（BB）步长。在本文中，我们提出了一种称为对角 Barzilai-Borwein（BB）步长的自适应度量选择策略。所提出的对角选择能更好地捕捉问题的局部几何结构，同时保持每步计算成本与标量 BB 步长相似，即 。在此 VM-PG 度量选择下，我们分析了其理论收敛性。我们的实证研究表明，在合成数据集和真实世界数据集上，特别是对于病态的机器学习问题，所提出的对角 BB 步长能带来改进的收敛结果。
引用
@article{arxiv.1910.07056,
title = {Variable Metric Proximal Gradient Method with Diagonal Barzilai-Borwein Stepsize},
author = {Youngsuk Park and Sauptik Dhar and Stephen Boyd and Mohak Shah},
journal= {arXiv preprint arXiv:1910.07056},
year = {2019}
}