生成模型忠实逆变换用于高效推断摊销
机器学习
2018-11-30 v5 机器学习
摘要
推断摊销方法在多个后验推断问题间共享信息，使每个问题可更高效地进行。通常，它们需要反转生成模型中的依赖结构，因为建模者必须学习从观测到逼近后验的分布的映射。先前的方法以启发式方式反转依赖结构，未能正确捕捉这些依赖，从而限制了所得逼近的可达精度。我们引入一种算法，用于忠实且极小地反转任意生成模型的图模型结构。此类逆具有两个关键性质：(a) 它们不编码任何模型中不存在的独立断言；且 (b) 它们是所编码真实独立数目上的局部极大。我们证明了方法的正确性，并经验性地表明，所得的极小忠实逆比现有启发式方法带来更好的推断摊销。
引用
@article{arxiv.1712.00287,
title = {Faithful Inversion of Generative Models for Effective Amortized Inference},
author = {Stefan Webb and Adam Golinski and Robert Zinkov and N. Siddharth and Tom Rainforth and Yee Whye Teh and Frank Wood},
journal= {arXiv preprint arXiv:1712.00287},
year = {2018}
}
备注
To appear at the 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montreal, Canada