具有深度可逆特征的混合模型
机器学习
2019-05-30 v2 机器学习
摘要
我们提出一种神经混合模型，其由定义在由深度可逆变换（即归一化流）计算的一组特征上的线性模型构成。我们模型的一个吸引人之处在于，p(features)（特征密度）与 p(targets | features)（预测分布）均可在单次前馈传播中被精确计算。我们表明，尽管存在可逆性约束，我们的混合模型仍能达到与纯预测模型相近的精度。此外，尽管采用混合优化目标，生成组件仍是输入特征的良好模型。这提供了额外能力，例如分布外输入检测以及支持半监督学习。精确联合密度 p(targets, features) 的可用性也使我们能够便捷计算许多量，使我们的混合模型成为概率深度学习下游应用的有用构建模块。
引用
@article{arxiv.1902.02767,
title = {Hybrid Models with Deep and Invertible Features},
author = {Eric Nalisnick and Akihiro Matsukawa and Yee Whye Teh and Dilan Gorur and Balaji Lakshminarayanan},
journal= {arXiv preprint arXiv:1902.02767},
year = {2019}
}
备注
ICML 2019