惯常嫌疑犯？重估 VAE 后验坍缩的归咎
机器学习
2019-12-24 v1 计算机视觉与模式识别
机器学习
摘要
在狭窄的渐近设定下，连续数据的Gaussian VAE模型已被证明拥有与真实分布对齐的全局最优。即便如此，众所周知，实践中有时会获得潜在后验坍缩至无信息先验的劣质解。然而，与将这一现象主要归咎于KL散度正则化不当影响的传统认知相反，我们将论证后验坍缩至少部分源于深度自编码器网络损失曲面固有的不良局部极小。具体而言，我们证明即便对仿射VAE解码器模型的微小非线性扰动也能产生此类极小，而在更深模型中，类似极小可迫使VAE表现得像一种激进的截断算子，在特定情况下可证明地沿所有潜在维度丢弃信息。无论如何，这里的根本意图并非削弱对后验坍缩的既有宝贵解释，而是 refinement 该讨论并阐明先前可能被低估的替代风险因素。
引用
@article{arxiv.1912.10702,
title = {The Usual Suspects? Reassessing Blame for VAE Posterior Collapse},
author = {Bin Dai and Ziyu Wang and David Wipf},
journal= {arXiv preprint arXiv:1912.10702},
year = {2019}
}