从分数阶微积分视角看梯度下降法

Pham Viet Hai; Joel A. Rosenfeld

从分数阶微积分视角看梯度下降法

最优化与控制 2020-12-22 v2

作者: Pham Viet Hai , Joel A. Rosenfeld

摘要

受优化理论中梯度方法的启发，我们给出基于 $\psi$ -分数阶导数（阶为 $\alpha$ ）的方法以求解无约束优化问题。这些方法的收敛性被详细分析。本文还提出一种 Adams-Bashforth-Moulton（ABM）方法，用于估计涉及 $\psi$ -分数阶导数的方程的解。使用 ABM 方法的数值例子表明，分数阶 $\alpha$ 与权重 $\psi$ 是可调参数，可有助于提升梯度下降法的性能。

关键词

梯度下降分数阶微积分 $\psi$-分数阶导数无约束优化收敛性分析 Adams-Bashforth-Moulton 方法

引用

@article{arxiv.1911.08058,
  title  = {The Gradient descent method from the perspective of fractional calculus},
  author = {Pham Viet Hai and Joel A. Rosenfeld},
  journal= {arXiv preprint arXiv:1911.08058},
  year   = {2020}
}

备注

27 pages

从分数阶微积分视角看梯度下降法

摘要

关键词

引用

备注

相关论文