分数阶梯度下降的收敛性分析

分数阶导数是整数阶导数的一种被广泛研究的推广。自然地，在优化中，理解使用分数阶导数的梯度下降的收敛性质令人关注。目前分数阶梯度下降的收敛分析在所分析的方法与设定上均有限。本文旨在通过分析了光滑凸、光滑强凸及光滑非凸设定下的分数阶梯度下降变体来填补这些空白。首先，将建立桥接分数阶与整数阶导数的新界。随后，将这些界应用于上述设定，证明对光滑强凸函数的线性收敛及对光滑凸函数的 $O(1/T)$ 收敛。此外，利用更适合分数阶导数的扩展光滑性概念——Hölder 光滑性——我们证明了光滑非凸函数的 $O(1/T)$ 收敛。最后，给出分数阶梯度下降相对标准梯度下降潜在加速的实证结果，以及一些解释此加速的初步理论结果。