深度神经网络、通用插值性质与受控常微分方程
最优化与控制
2020-07-20 v2 动力系统
摘要
近期一种范式将深度神经网络视为某些受控常微分方程（有时称为神经常微分方程）的离散化。我们利用这一视角将深度网络的表现力与动力系统的能控性概念联系起来。借助该联系，我们研究了一种称为通用插值（universal interpolation）的表现力性质，并证明它在某种意义下是通有的。通用插值性质比通用逼近稍弱，并将有限训练集上的监督学习与原泛化性质解耦。我们还证明，即使大量参数未被训练而是随机选取，某些深度神经网络仍具有通用插值性质。这为以下观察提供了理论支持：即使大多数参数在训练中基本未变，以随机初始化进行训练也能成功。我们的结果还探讨了神经常微分方程中在不损失表现力的前提下可训练参数的最小数量。
引用
@article{arxiv.1908.07838,
title = {Deep neural networks, generic universal interpolation, and controlled ODEs},
author = {Christa Cuchiero and Martin Larsson and Josef Teichmann},
journal= {arXiv preprint arXiv:1908.07838},
year = {2020}
}
备注
Forthcoming in SIAM Journal on Mathematics of Data Science