一种基于Caputo分数阶导数的优化算法
最优化与控制
2021-04-07 v1 机器学习
数值分析
数值分析
摘要
我们提出一种新颖的基于Caputo分数阶导数的优化算法。在定义关于笛卡尔坐标的Caputo分数阶梯度后，我们给出通用的Caputo分数阶梯度下降（CFGD）方法。我们证明CFGD给出了局部平滑目标函数的最速下降方向。通用CFGD需指定三个参数，参数的一种选择给出CFGD的一个版本。我们提出三个版本——非自适应、自适应终端和自适应阶数。通过聚焦二次目标函数，我们给出收敛性分析。我们证明非自适应CFGD收敛到Tikhonov正则化解。对两个自适应版本，我们导出误差界，表明在某些条件下收敛到整数阶驻点。我们导出二次函数CFGD的显式公式。我们在计算上发现自适应终端（AT）CFGD减轻了收敛速率对条件数的依赖，并相较梯度下降（GD）取得显著加速。对非二次函数，我们使用Gauss-Jacobi求积开发CFGD的高效实现，其计算成本近似正比于求积点数量和GD的成本。我们的数值例子表明，即使使用少量Gauss-Jacobi求积点（包括单点），AT-CFGD相较GD仍取得加速。
引用
@article{arxiv.2104.02259,
title = {A Caputo fractional derivative-based algorithm for optimization},
author = {Yeonjong Shin and Jérôme Darbon and George Em Karniadakis},
journal= {arXiv preprint arXiv:2104.02259},
year = {2021}
}