用于非凸优化的黏性与Hessian驱动阻尼的惯性方法
机器学习
2024-07-18 v1
摘要
本文旨在通过二阶（时间）动力学研究非凸最小化问题，包括非消失的黏性阻尼和几何Hessian驱动阻尼。仅依赖黏性阻尼的二阶系统可能在最小值附近出现振荡问题，而Hessian驱动阻尼项的引入已知可在不显式构造Hessian的前提下减少此类效果。目前引入Hessian驱动阻尼项的基本方法有两种：显式或隐式。对于每种情况，我们提供阻尼系数的条件，以确保梯度收敛至零。此外，若目标函数可定义，我们证明了轨迹全局收敛于临界点以及收敛速率。此外，在自治情况下，若目标函数为Morse函数，我们得出结论：对于几乎所有初始条件，轨迹都会收敛于目标函数的局部最小值。我们还研究了两种动力学的算法方案，并在适当步长条件下证明了离散类比性质。特别是，我们考虑目标函数仅局部Lipschitz光滑的情况，提出一种回溯策略，并建立了收敛保证。我们的工作是首次处理此类情况。
关键词
引用
@article{arxiv.2407.12517,
title = {Evaluating the transferability potential of deep learning models for climate downscaling},
author = {Ayush Prasad and Paula Harder and Qidong Yang and Prasanna Sattegeri and Daniela Szwarcman and Campbell Watson and David Rolnick},
journal= {arXiv preprint arXiv:2407.12517},
year = {2024}
}