基于耦合的可逆神经网络是泛微分同胚逼近器
机器学习
2020-11-05 v2 神经与进化计算
经典分析与常微分方程
微分几何
机器学习
摘要
基于耦合流（CF-INNs）的可逆神经网络具有多种机器学习应用，如图像合成与表征学习。然而，其诸如解析可逆性等理想特性是以限制函数形式为代价的。这引发了一个关于其表征能力的问题：CF-INNs 是否是可逆函数的通用逼近器？若不具备通用性，则可能存在 CF-INN 永远无法逼近的良态可逆变换，从而使该类模型不可靠。我们通过给出一个简便判据来回答此问题：若 CF-INN 的层以仿射耦合与可逆线性函数作为特例，则其具有通用性。作为推论，我们可以肯定地解决一个先前未解决的问题：基于仿射耦合的归一化流模型能否成为通用分布逼近器。在证明通用性的过程中，我们证明了一个一般定理，表明某些微分同胚类的通用性等价，这一理论洞见本身也颇具意义。
引用
@article{arxiv.2006.11469,
title = {Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators},
author = {Takeshi Teshima and Isao Ishikawa and Koichi Tojo and Kenta Oono and Masahiro Ikeda and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2006.11469},
year = {2020}
}
备注
29 pages, 3 figures. Accepted at Thirty-fourth Conference on Neural Information Processing Systems (NeurIPS 2020) for oral presentation