教师引导变分自编码器中常数坍缩的可检验证书
机器学习
2026-05-08 v1 人工智能
摘要
变分自编码器后验坍缩往往通过小 KL 项、强解码器或弱潜在代码使用等症状进行诊断。这些信号有用，但不定义坍缩边界。我们研究具体的失效模式——输入无关常数坍缩，证明该模式具有严格阈值。对于任意固定非常数教师分布 ，最佳常数学生是数据集平均教师分布，其对齐代价即为教师互信息 。因此，若严格的潜在-only 原始见证在安全裕度下达到该值以下的对齐损失，则该见证必为常数输入。该等式将定性失效模式转化为可度量的量。在 CIFAR-100 实验中进行的 per-seed 教师搜索显示，完整训练保持在认证边界内，移除对齐驱动会使原始见证进入常数学生范畴，启用对齐后从坍缩检查点恢复则恢复了证书。Tiny-ImageNet-200 固定目标实验显示相同模式在三个独立搜索的教师上均呈现——坍缩-拯救-防御循环。标准 VAE 基线（包括保留重构质量或事后可预测性的方法）在原始证书下均为负。该保证有其局限性：仅认证匹配的非常数教师相对变化通过潜在通道，而不声称排除所有形式的后验坍缩。
引用
@article{arxiv.2605.05813,
title = {A Testable Certificate for Constant Collapse in Teacher-Guided VAEs},
author = {Zegu Zhang and Jianhua Peng and Jian Zhang},
journal= {arXiv preprint arXiv:2605.05813},
year = {2026}
}