摊销推断正则化
机器学习
2019-01-10 v2 人工智能
机器学习
摘要
变分自编码器（VAE）是用于密度估计与表示学习的流行模型。按规范，变分原理建议偏好具有较强表达力的推断模型，以使变分近似准确。然而，常被忽视的是，过度表达的推断模型可能对摊销后验近似器以及更为重要的生成密度估计器的测试集性能造成损害。在本文中，我们利用 VAE 依赖摊销推断这一事实，提出用于控制推断模型平滑度的摊销推断正则化（AIR）技术。我们证明，通过应用 AIR，可以改善 VAE 在推断与生成性能上的泛化能力。我们的论文挑战了“摊销推断仅是近似最大似然训练的机制”这一观念，并阐明对摊销族的正则化为理解和改善 VAE 中的泛化提供了新方向。
引用
@article{arxiv.1805.08913,
title = {Amortized Inference Regularization},
author = {Rui Shu and Hung H. Bui and Shengjia Zhao and Mykel J. Kochenderfer and Stefano Ermon},
journal= {arXiv preprint arXiv:1805.08913},
year = {2019}
}
备注
NeurIPS 2018