检测与修正非线性共轭梯度法中的独立性丢失
最优化与控制
2013-07-29 v2
摘要
众所周知，非线性共轭梯度（CG）法中的搜索方向有时会变得近乎相关，导致收敛速率急剧下降。我们对这种独立性丢失进行了理论分析。该分析适用于严格凸目标函数的情形，并受 Nemirovsky 和 Yudin 早期工作的启发。独立性丢失会影响多种著名的非线性 CG 变体，包括 Fletcher-Reeves、Polak-Ribi\`ere（非负变体）和 Hager-Zhang 方法。基于我们的分析，我们提出了一种相对廉价的计算测试来检测独立性丢失。我们还提出了一种在检测到丢失时进行修正的方法，称之为“子空间优化”。尽管修正方法的计算成本较高，但我们的实验表明，在某些情况下（通常是最病态的情况），该方法比上述三种变体都快得多。尽管我们的理论仅涵盖强凸目标函数，但我们提供了计算结果以表明，检测和修正机制在非凸优化中也可能具有前景。
引用
@article{arxiv.1202.1479,
title = {Detecting and correcting the loss of independence in nonlinear conjugate gradient},
author = {Sahar Karimi and Stephen Vavasis},
journal= {arXiv preprint arXiv:1202.1479},
year = {2013}
}