有限内存 BFGS 应用于非光滑函数及其 Nesterov 光滑化的行为
最优化与控制
2020-06-23 v1
摘要
研究有限内存 BFGS (L-BFGS) 在非光滑优化问题上行为的动机基于两点经验观察:L-BFGS 在求解大规模光滑优化问题上的广泛成功,以及基于使用梯度而非次梯度预言机范式时,完整 BFGS 方法在求解中小型非光滑优化问题上的有效性。我们首先总结关于带一次更新的缩放 L-BFGS 方法应用于一个下方无界的简单凸非光滑函数时行为的理论结果,给出该方法无论起点如何均收敛到非最优点的条件。随后我们转向实证考察同一现象是否更普遍地成立,聚焦于 Nesterov 的一个困难问题,以及半定规划应用中出现的特征值优化问题。我们发现,当直接应用于非光滑函数时,L-BFGS(尤其是其缩放变体)常因对最优解的糟糕近似而失效,与完整 BFGS 形成鲜明对比。非缩放 L-BFGS 较少失效,但每次迭代的函数评估次数远多于缩放 L-BFGS,因而缓慢。尽管如此,两种变体常比可证明收敛但缓慢的次梯度方法获得更好结果。另一方面,当应用于非光滑函数的 Nesterov 光滑近似时,缩放 L-BFGS 通常比非缩放 L-BFGS 高效得多,即使问题条件数很差也常获得良好结果。综上,对于完整 BFGS 与其他非光滑优化方法不实用的大规模非光滑优化问题,将 L-BFGS 应用于非光滑问题的光滑近似通常优于直接应用于非光滑问题。
引用
@article{arxiv.2006.11336,
title = {Behavior of Limited Memory BFGS when Applied to Nonsmooth Functions and their Nesterov Smoothings},
author = {Azam Asl and Michael L. Overton},
journal= {arXiv preprint arXiv:2006.11336},
year = {2020}
}