关于非单调梯度法 R 线性收敛的注记
最优化与控制
2023-02-07 v2
摘要
非单调梯度法通常优于其单调对应方法，尤其在不约束二次优化上。然而，已知单调方法的收敛速率常远优于其非单调变体。为缩小非单调梯度法理论与实践的差距，我们引入一种用于一大类梯度法收敛分析的性质。我们证明，任何采用满足该性质步长的梯度法将以 1-\lambda_1/M_1 的速率 R 线性收敛，其中 \lambda_1 为 Hessian 矩阵的最小特征值，M_1 为逆步长的上界。我们的结果表明，许多非单调方法的现有收敛速率可改进至 1-1/\kappa，其中 \kappa 为相应的条件数。
引用
@article{arxiv.2207.05912,
title = {A note on $R$-linear convergence of nonmonotone gradient methods},
author = {Xinrui Li and Yakui Huang},
journal= {arXiv preprint arXiv:2207.05912},
year = {2023}
}
备注
12 pages