致常微分方程的一首颂歌
机器学习
2020-06-24 v2 经典分析与常微分方程
动力系统
最优化与控制
机器学习
摘要
我们提出一种称为 ODEtoODE 的神经 ODE 算法新范式，其中主流的时间相关参数依据正交群 O(d) 上的矩阵流演化。这一由双重流嵌套而成的系统，其参数流被约束于紧流形上，为训练提供了稳定性与有效性，并可证明地解决梯度消失-爆炸问题，该问题本质上与训练诸如神经 ODE 之类的深度神经网络架构相关。因此，它带来了更优的下游模型，正如我们在利用进化策略训练强化学习策略的示例以及在与先前 SOTA 基线比较的监督学习设定中所展示的那样。我们为所提机制提供了与网络深度无关的强收敛结果，支撑了我们的实证研究。我们的结果显示了深度神经网络理论与紧流形上矩阵流领域之间引人入胜的联系。
引用
@article{arxiv.2006.11421,
title = {An Ode to an ODE},
author = {Krzysztof Choromanski and Jared Quincy Davis and Valerii Likhosherstov and Xingyou Song and Jean-Jacques Slotine and Jacob Varley and Honglak Lee and Adrian Weller and Vikas Sindhwani},
journal= {arXiv preprint arXiv:2006.11421},
year = {2020}
}
备注
20 pages, 9 figures