通过统一误差界条件对梯度类方法线性收敛的新分析
最优化与控制
2018-05-17 v7
摘要
本文揭示了在许多误差界(EB)条件和多种梯度类方法中扮演共同核心角色的是一个残差测度算子。一方面，通过将此算子与其他最优性测度相联系，我们定义了一组抽象误差界条件，并分析了它们之间的相互作用；另一方面，通过使用该算子作为上升方向，我们提出一种抽象梯度类方法，并推导出其线性收敛的必要充分误差界条件。前者提供了一个统一框架，不仅使我们能发现许多现有误差界条件之间的新联系，也为构造新误差界条件铺平了道路。后者使我们能够断言保证若干基本算法（包括梯度法、近端点算法和前向-后向分裂算法）线性收敛的最弱条件。此外，我们在一组等价的误差界条件下展示了近交替线性化最小化算法的线性收敛，该条件严格弱于传统的强凸条件。而且，通过定义一个新的误差界条件，我们展示了Nesterov加速前向-后向算法在无需强凸下的Q-线性收敛。最后，我们验证了一类对偶目标函数的误差界条件。
引用
@article{arxiv.1606.00269,
title = {New Analysis of Linear Convergence of Gradient-type Methods via Unifying Error Bound Conditions},
author = {Hui Zhang},
journal= {arXiv preprint arXiv:1606.00269},
year = {2018}
}
备注
40 papes; incorporating the referee's comments, the presentation has been further improved