神经 ODE 与可逆残差网络的逼近能力
机器学习
2020-03-03 v2 机器学习
摘要
Neural ODEs 与 i-ResNet 是近期提出的用于强制残差神经模型可逆性的方法。拥有构造可逆模型的通用技术可为学习系统的进展开辟新途径，但迄今为止，Neural ODEs 与 i-ResNets 能否建模任意连续可逆函数的问题仍未解决。本文中，我们表明这两种模型在其逼近能力上均受限。随后我们证明， 维欧几里得空间上的任意同胚均可由作用于 维欧几里得空间的 Neural ODE 逼近，对 i-ResNets 亦有类似结果。最后我们表明，在 Neural ODE 或 i-ResNet 上叠加一个线性层，就足以将该模型变为非可逆连续函数的通用逼近器。
引用
@article{arxiv.1907.12998,
title = {Approximation Capabilities of Neural ODEs and Invertible Residual Networks},
author = {Han Zhang and Xi Gao and Jacob Unterman and Tom Arodz},
journal= {arXiv preprint arXiv:1907.12998},
year = {2020}
}