可逆神经网络的通用逼近性质
机器学习
2022-04-18 v1 神经与进化计算
机器学习
摘要
可逆神经网络（INNs）是设计上即具有可逆性的神经网络架构。得益于其可逆性和雅可比矩阵的可处理性，INNs在概率建模、生成建模和表示学习等机器学习应用中用途广泛。然而，它们吸引人的性质通常以限制层设计为代价，这引发了一个关于其表示能力的问题：我们能否使用这些模型来逼近足够多样的函数？为回答此问题，我们基于微分几何的结构定理，开发了研究INNs表示能力的通用理论框架。该框架简化了微分同胚的逼近问题，使我们能够展示INNs的通用逼近性质。我们将该框架应用于两类具代表性的INNs，即基于耦合流的INNs（CF-INNs）和神经常微分方程（NODEs），并阐明尽管其架构存在限制，它们仍具有高度的表示能力。
引用
@article{arxiv.2204.07415,
title = {Universal approximation property of invertible neural networks},
author = {Isao Ishikawa and Takeshi Teshima and Koichi Tojo and Kenta Oono and Masahiro Ikeda and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2204.07415},
year = {2022}
}
备注
This paper extends our previous work of the following two papers: "Coupling-based invertible neural networks are universal diffeomorphism approximators" [arXiv:2006.11469] (published as a conference paper in NeurIPS 2020) and "Universal approximation property of neural ordinary differential equations" [arXiv:2012.02414] (presented at DiffGeo4DL Workshop in NeurIPS 2020)