连续深度神经网络
机器学习
2020-08-07 v1 动力系统
机器学习
摘要
近期的工作试图将残差网络（ResNets）解释为常微分方程前向欧拉离散化的一步，主要关注两个系统之间语法上的代数相似性。然而，连续动力系统的离散动力积分器具有更丰富的结构。我们首先表明 ResNets 在这种更丰富的意义上并非有意义的动力积分器。然后我们证明神经网络模型可以通过将其嵌入到更高阶的数值积分方案（如 Runge Kutta 方案）中，学习表示具有这种更丰富结构和性质的连续动力系统。基于这些见解，我们引入了 ContinuousNet 作为 ResNet 架构的连续深度推广。ContinuousNets 表现出对特定计算图表现形式的不变性。也就是说，连续深度模型可以用不同的离散时间步长（改变层数）和不同的数值积分方案（改变图连接性）来评估。我们展示了这可用于开发一种增量深度训练方案，在显著提高训练速度的同时改善模型质量。我们还表明，一旦训练完成，计算图中的单元数量甚至可以减少，以在精度几乎不降的情况下实现更快推理。
引用
@article{arxiv.2008.02389,
title = {Continuous-in-Depth Neural Networks},
author = {Alejandro F. Queiruga and N. Benjamin Erichson and Dane Taylor and Michael W. Mahoney},
journal= {arXiv preprint arXiv:2008.02389},
year = {2020}
}