梯度方法的新视角：分数阶方法
最优化与控制
2019-03-11 v1 信号处理
摘要
在本文中，我们对经典梯度方法（GM）给出了一些新思考，并回顾了所提出的分数阶梯度方法（FOGM）。证明了所提出的 FOGM 在极值点附近比传统 GM 具有超收敛能力和更快的收敛速度。还讨论了传统 GM 和 FOGM 的渐近收敛性质。为了同时实现超收敛能力和更快的收敛速度，提出了一种新颖的切换 FOGM。此外，通过引入 p 阶 Lipschitz 连续梯度和 p 阶强凸的概念，我们将所得结论推广到更一般的情况。提供了大量仿真示例以验证所提方法的有效性。
引用
@article{arxiv.1903.03239,
title = {A novel perspective to gradient method: the fractional order approach},
author = {Yuquan Chen and Yiheng Wei and Yong Wang},
journal= {arXiv preprint arXiv:1903.03239},
year = {2019}
}