NAIS-Net：基于非自治微分方程的稳定深度网络

本文提出非自治输入输出稳定网络(NAIS-Net)，这是一种非常深的架构，其中每个堆叠处理块均派生自一个时不变非自治动力系统。非自治性通过从块输入到每个展开处理阶段的跳跃连接实现，并允许强制稳定性，从而块可以自适应地展开至依赖于模式的处理深度。NAIS-Net诱导出非平凡的Lipschitz输入输出映射，即使对于无限展开长度亦如此。我们证明该网络是全局渐近稳定的，因此对于每个初始条件，在假设$tanh$单元时恰有一个依赖于输入的平衡点，而对于ReL单元是增量稳定的。我们还给出了一种高效实现，在推导条件下对全连接层和卷积层均强制稳定性。实验结果表明NAIS-Net在实践中表现出稳定性，与ResNets相比泛化差距显著减小。