后验塌陷：变分自编码器中的相变视角

我们从统计物理的视角研究变分自编码器（VAE）中的后验塌陷现象，揭示其是由数据结构与模型超参数共同决定的相变现象。通过分析后验塌陷相关平凡解的稳定性，我们识别出临界超参数阈值。具体而言，我们推导了塌陷临界点的显式判据：当解码器方差超过数据协方差矩阵的最大特征值时，后验塌陷即发生。该临界边界分隔了有意义的潜在推断与塌陷，由近似后验与先验分布之间 KL 散度的连续性特征刻画，其中 KL 散度及其导数表现出明显的非解析行为。我们在合成数据和真实数据集上验证了该临界行为，确认了相变的存在。实验结果与理论预测良好吻合，显示示 our 判据在各种 VAE 架构中都具有鲁棒性。我们的稳定性分析表明，后验塌陷不仅是优化失败，更是数据结构与变分约束相互作用所产生的新兴相变。这一视角为深入理解深度生成模型的可训练性与表征能力提供了新颖见解。