论 $\beta$-VAE 中的隐式正则化
机器学习
2021-01-01 v4 机器学习
摘要
虽然变分推断（VI）在固定生成模型中对后验推断的影响已被充分刻画，但其在变分自编码器（VAEs）中用于正则化所学生成模型的作用却鲜为人知。我们从两个视角研究变分分布对生成模型学习的正则化效应。首先，我们分析变分族的选择如何通过限制最优生成模型的集合来赋予所学模型唯一性。其次，我们研究变分族对解码模型局部几何的正则化效应。该分析揭示了 -VAE 目标中隐含的正则化项，并导出一种由确定性自编码目标加上依赖于解码模型 Hessian 或 Jacobian 的解析正则项构成的近似，从而将 VAEs 与近期提出的训练正则化自编码器的启发式方法统一起来。我们通过实验验证了这些发现，观察到所提出的确定性目标在目标值与样本质量方面表现出与 -VAE 相似的行为。
引用
@article{arxiv.2002.00041,
title = {On Implicit Regularization in $\beta$-VAEs},
author = {Abhishek Kumar and Ben Poole},
journal= {arXiv preprint arXiv:2002.00041},
year = {2021}
}
备注
ICML 2020; Final version, including appendix