共形辛与相对论优化
最优化与控制
2020-12-25 v7 机器学习
摘要
可以说，机器学习中两种最流行的加速或基于动量的优化方法是 Nesterov 加速梯度法和 Polyak 重球法，二者均对应于带有摩擦的特定二阶微分方程的不同离散化。这种与连续时间动力系统的联系在揭示优化中的加速现象方面起到了重要作用。在此，我们研究一类耗散（共形）哈密顿系统的保结构离散化，使我们能够分析 Nesterov 和重球法的辛结构，并为这些方法提供若干新见解。此外，我们基于一个对动量进行归一化的耗散相对论系统提出了一种新算法，其可能带来更稳定/更快的优化。重要的是，该方法推广了 Nesterov 和重球法，二者均可作为不同的极限情形恢复，并且在无额外代价下具有潜在优势。
引用
@article{arxiv.1903.04100,
title = {Conformal Symplectic and Relativistic Optimization},
author = {Guilherme França and Jeremias Sulam and Daniel P. Robinson and René Vidal},
journal= {arXiv preprint arXiv:1903.04100},
year = {2020}
}
备注
A short version of this paper appeared at NeurIPS 2020 (spotlight). This lengthier version matches the published paper at JSTAT, which contains additional results