深度生成网络的分析概率分布与 EM 学习
机器学习
2020-06-18 v1 机器学习
摘要
具有输出与潜空间概率建模的深度生成网络（DGNs）目前通过变分自编码器（VAEs）进行训练。在缺乏后验与似然期望的已知解析形式的情况下，VAEs 诉诸于近似方法，包括（摊销）变分推断（AVI）与蒙特卡洛（MC）采样。我们利用现代 DGNs 的连续分段仿射（CPA）性质推导其后验分布与边缘分布以及后者的一阶矩。这些发现使我们能够推导出一种解析期望最大化（EM）算法，该算法可实现无梯度 DGN 学习。我们通过实证表明，DGNs 的 EM 训练比 VAE 训练产生更大的似然。我们的发现将指导设计更好地近似真实后验的新 VAE AVI，并为应用标准统计工具进行模型比较、异常检测与缺失数据插补开辟途径。
引用
@article{arxiv.2006.10023,
title = {Analytical Probability Distributions and EM-Learning for Deep Generative Networks},
author = {Randall Balestriero and Sebastien Paris and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2006.10023},
year = {2020}
}