具有强二阶复杂度保证的非凸优化信赖域牛顿-CG方法
最优化与控制
2020-11-23 v3
摘要
非凸优化算法的最坏情况复杂度保证一直是日益受到关注的话题。人们已经提出了多个框架，在广泛的一类一阶和二阶策略中取得了已知最佳的复杂度界。这些方法通常主要围绕复杂度保证来设计，因此有别于在实践中已被证明最为有效的算法。在本文中，我们考虑信赖域牛顿方法，这是求解非凸优化问题最流行的算法类之一。通过对原始格式稍作修改，我们得到了两种方法——一种基于精确子问题求解，另一种利用如流行的“信赖域牛顿-共轭梯度”（trust-region Newton-CG）方法中的非精确子问题求解——其迭代复杂度和运算复杂度界与上述一类一阶和二阶方法的最佳已知界相匹配。所得的信赖域牛顿-CG 方法还保留了经典信赖域牛顿-CG 的吸引人的实际行为，我们通过在标准基准测试集上的数值比较予以展示。
引用
@article{arxiv.1912.04365,
title = {Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization},
author = {Frank E. Curtis and Daniel P. Robinson and Clément Royer and Stephen J. Wright},
journal= {arXiv preprint arXiv:1912.04365},
year = {2020}
}