摩擦自适应下降：一类基于动力学的优化方法族
最优化与控制
2023-09-21 v3 动力系统
摘要
我们描述了一类下降算法族，它推广了在神经网络训练及更广义的光滑函数优化(可能用于全局优化，或作为在如 basin hopping 等全局优化方案中部署的局部优化方法)中常用的现有方案。通过引入辅助自由度，我们创建了一个稳定性改善的动力系统，减少了振荡模式并加速收敛至极小点。所得算法易于实现与控制，且收敛性可直接由 Lyapunov 第二方法证明。尽管我们称之为摩擦自适应下降(FAD)的这一框架相当一般，我们此处将主要注意力集中于一个特定变体：动能稳定化(可视作零温 Nosé--Hoover 格式，但在物理与辅助变量中均加入耗散)，称为 KFAD(动能 FAD)。为说明 FAD 框架的灵活性，我们考虑了若干其他方法；在特定渐近极限下，这些方法可视为以不同形式引入三次阻尼；它们在常见优化设定中可比线性耗散哈密顿动力学更高效。我们给出了数值方法的细节，并通过构造 Lyapunov 函数证明了凸设定下连续与离散化动力学的收敛性。使用玩具模型(Rosenbrock 函数)对方法进行了测试。我们还展示了方法在 Lennard--Jones 与 Morse 势下原子团簇结构优化中的应用。实验显示了 FAD 相较于线性耗散哈密顿动力学的相对效率与鲁棒性。
引用
@article{arxiv.2306.06738,
title = {Friction-adaptive descent: a family of dynamics-based optimization methods},
author = {Aikaterini Karoni and Benedict Leimkuhler and Gabriel Stoltz},
journal= {arXiv preprint arXiv:2306.06738},
year = {2023}
}