变分自编码器中缺失数据的后验一致性
机器学习
2023-10-26 v1 机器学习
摘要
我们考虑从含缺失值的数据中学习变分自编码器（VAEs，一类深度生成模型）的问题。此类数据在机器学习的现实应用中无处不在，因为完整数据通常无法获得或获取成本过高。我们特别关注改进 VAE 的摊销后验推断（即编码器），在缺失数据情况下，编码器易学到关于缺失的不一致后验分布。为此，我们给出后验一致性的形式化定义，并提出一种正则化编码器后验分布以促进该一致性的方法。我们观察到，所提正则化给出的训练目标不同于文献中面对缺失值通常考虑的目标。此外，我们通过实验证明，我们的正则化在重建质量及利用潜空间不确定性的下游任务方面，于缺失值设定中带来性能提升。对于多类 VAE（包括配备归一化流的 VAE）均可观察到该改进。
引用
@article{arxiv.2310.16648,
title = {Posterior Consistency for Missing Data in Variational Autoencoders},
author = {Timur Sudak and Sebastian Tschiatschek},
journal= {arXiv preprint arXiv:2310.16648},
year = {2023}
}
备注
First published in ECML PKDD 2023, Proceedings, Part II, by Springer Nature (https://doi.org/10.1007/978-3-031-43415-0_30). This version of the work has been extended with the addition of an Appendix, which includes proofs, the derivation of the posterior regularization, additional background information on technical topics, an extended related work section, and additional experimental results