用于分类、逼近与传输的神经 ODE 控制
最优化与控制
2021-04-13 v1
摘要
我们从控制理论的视角分析神经常微分方程（NODEs），以应对深度学习（DL）的一些主要性质与范式，特别是数据分类与通用逼近。这些目标从 NODEs 系统的同时控制视角被处理并达成。例如，在分类背景下，每个待分类项对应于 NODE 控制问题的一个不同初值，它们均由同一公共控制分类至与各标签相关联的位置（欧氏空间的一个子域）。我们的证明是真正非线性且构造性的，使我们能估计所开发控制策略的复杂度。所考虑 NODEs 动力学由激活函数支配的非线性本质在我们的证明中起关键作用，因为它允许形变半个相空间而另一半保持不变，这是力学中经典模型所不满足的性质。正是该性质允许构建引发特定动力学与变换的基本控制，其与恰当选取的超平面的拼接可在有限步内达成目标。动力学非线性假定为 Lipschitz。因此，我们的结果亦适用于 ReLU 激活函数这一特例。我们还给出了神经传输方程控制的对应结果，建立了最优传输与深度神经网络之间的联系。
引用
@article{arxiv.2104.05278,
title = {Neural ODE control for classification, approximation and transport},
author = {Domènec Ruiz-Balet and Enrique Zuazua},
journal= {arXiv preprint arXiv:2104.05278},
year = {2021}
}