后验塌陷作为自动谱修剪
机器学习
2026-05-22 v1 统计力学
摘要
我们指出，-变分自编码器中的后验塌陷实现了自动谱修剪。当一个潜在模式的重建贡献低于 设定的阈值时，其就会发生塌陷。具有不同 的平衡解因此揭示了潜在模式从最不有用到最有用的塌陷级联。我们通过损失函数进行推导，并基于 Landau 稳定性分析。我们定义了一个潜在比例不变的序参数，用于排序活跃的潜在模式，其塌陷阈值识别应首先检查的有效变量。 在线性高斯情况下，塌陷谱、效用谱和标准化主成分分析谱一致，且每一次塌陷都遵循均场定律。我们在 WorldClim 数据集上测试了这些预测。
引用
@article{arxiv.2605.22691,
title = {Posterior Collapse as Automatic Spectral Pruning},
author = {Johannes Hirn},
journal= {arXiv preprint arXiv:2605.22691},
year = {2026}
}