变分自编码器中常数坍缩的单纯形见证证书

我们研究变分自编码器中的精确常数坍缩：确定性编码器均值变得与输入无关。先验分布保持标准高斯分布。在 VAE 训练之前，我们从基于 GMM 的数据视角中选择一个固定的教师后验，并将一个固定的仅含潜变量的单纯形见证附加到编码器均值上。该构造产生了两个关联对象。第一个是证书：如果见证预测优于教师的最佳常数预测器，则编码器均值不可能是与输入无关的常数。第二个是局部逃逸方向：在坍缩流形上，教师残差为对齐损失提供了一个依赖于样本的下降方向。对于任何全支撑教师后验，相同的几何结构也给出了一个具有零教师-见证对齐误差的闭式潜码。其缩放版本描绘了一条从常数预测器到精确教师码的边际-能量路径，这量化了受保护见证子空间内的非坍缩状态。我们在 MNIST、CIFAR-10 和 CIFAR-100 上实例化了该方法。使用搜索到的无监督 PCA-GMM 教师，普通 VAE 在 CIFAR-10 和 CIFAR-100 上的所有五个随机种子中均未能通过教师-见证证书，而 RST 变体在所有五个种子中均通过。在 $\beta_{\mathrm{KL}}\in\{2,4,8\}$ 的坍缩压力设置下，普通 VAE 再次在所有种子中失败，而 RST-alpha-prefit 保持证书阳性。在两个自然图像数据集上的逃逸轨迹使见证边际从低边际初始化状态增加，并表现出非零的教师诱导梯度范数。该分析仅限于编码器均值的精确常数坍缩；生成质量、解码器使用和其他坍缩模式仍是独立的问题。