Forget-me-not！用于缓解后验坍缩的对比评判器
机器学习
2022-07-21 v1 机器学习
摘要
变分自编码器（VAEs）遭受后验坍缩，其中用于建模与推断的强大神经网络在不有意义地使用潜表示的情况下优化目标。我们引入推断评判器，通过要求潜变量与观测间对应来检测并激励对抗后验坍缩。通过将评判器目标与自监督对比表示学习文献相连，我们从理论与经验上表明优化推断评判器增进观测与潜变量间互信息，缓解后验坍缩。该方法直接易实现且比先前方法显著少训练时间，却在三个既定数据集上取得有竞争力结果。整体上，该方法为桥接此前脱节的对比学习与变分自编码器概率建模框架奠基，凸显两社群在其交叉处可能发现的益处。
引用
@article{arxiv.2207.09535,
title = {Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse},
author = {Sachit Menon and David Blei and Carl Vondrick},
journal= {arXiv preprint arXiv:2207.09535},
year = {2022}
}
备注
Conference on Uncertainty in Artificial Intelligence (UAI) 2022