无约束单调神经网络
机器学习
2021-04-01 v3 神经与进化计算
机器学习
摘要
单调神经网络近来被提出作为一种定义可逆变换的方法。这些变换可组合为强大的自回归流，已被证明是连续概率分布的通用逼近器。确保单调性的架构通常对权重和激活函数施加约束，这实现了可逆性但导致所得变换的表达能力受限。在本工作中，我们基于“函数只要其导数严格为正即为单调”的见解，提出无约束单调神经网络(UMNN)架构。特别地，后一条件可由一个自由形式神经网络强制满足，其唯一约束为其输出的正性。我们在一个新的自回归流(UMNN-MAF)中评估这一新的可逆构建模块，并在密度估计实验中展示其有效性。我们还说明了 UMNN 改进变分推断的能力。
引用
@article{arxiv.1908.05164,
title = {Unconstrained Monotonic Neural Networks},
author = {Antoine Wehenkel and Gilles Louppe},
journal= {arXiv preprint arXiv:1908.05164},
year = {2021}
}