面向人工智能的玻恩-英费尔德（BI）：用于优化的能量守恒下降（ECD）
机器学习
2023-05-16 v2 宇宙学与河外天体物理
高能物理 - 理论
最优化与控制
机器学习
摘要
我们引入了一种基于强混合（混沌） regime 下能量守恒哈密顿动力学的优化新框架，并从解析与数值上确立了其关键性质。其原型是玻恩-英费尔德动力学的离散化，其平方相对论速度极限依赖于目标函数。这类无摩擦、能量守恒的优化器不受阻碍地推进，直至在最小损失附近自然减速，而该区域主导了系统的相空间体积。基于诸如动力台球等混沌系统的研究，我们制定了一种在机器学习与 PDE 求解任务（包括泛化）上表现良好的具体算法。它不能停于高的局部极小，这在非凸损失函数中是一优势，并且在浅谷中比 GD+momentum 推进更快。
引用
@article{arxiv.2201.11137,
title = {Born-Infeld (BI) for AI: Energy-Conserving Descent (ECD) for Optimization},
author = {G. Bruno De Luca and Eva Silverstein},
journal= {arXiv preprint arXiv:2201.11137},
year = {2023}
}
备注
ICML 2022. 9 pages + Appendix, 8 figures. Code available at https://github.com/gbdl/BBI