优化中常微分方程的本质收敛速率
数值分析
2022-07-15 v2 数值分析
摘要
一些连续优化方法可通过取连续极限与常微分方程（ODEs）相联系，其收敛速率可由这些 ODEs 解释。然而，由于此类 ODEs 通过时间缩放可达到任意收敛速率，这种对应并不像通常预期的那样直接，且通过 ODEs 推导新方法也不甚直接。在本文中，我们关注 ODEs 离散化中的稳定性限制，并表明通过时间缩放的加速本质上意味着离散化中的减速；二者相互抵消，从而我们可以定义一个可达的唯一收敛速率，称之为“本质收敛速率”。
引用
@article{arxiv.2206.02599,
title = {Essential convergence rate of ordinary differential equations appearing in optimization},
author = {Kansei Ushiyama and Shun Sato and Takayasu Matsuo},
journal= {arXiv preprint arXiv:2206.02599},
year = {2022}
}