基于熵的潜变量模型极化状态表征

变分自编码器（VAE）常常表现出一种极化状态，其中潜变量分离为活跃、被动和混合子集。现有的识别活跃维度的标准依赖于高斯先验，限制了其在变分模型和特定先验上的适用性。我们提出了一种基于均值表征熵的简单信息论分类方法，用于描述极化状态。我们从理论上展示了这种熵如何通过熵-方差界限与 KL 最小化耦合，并将所得标准与 Bonheme 的活跃/被动条件联系起来。我们还阐明了一个关键限制：在没有方差表征的额外信号的情况下，仅凭均值表征的熵无法可靠地区分活跃维度和混合维度。在实证上，我们在 β-VAE、可识别 VAE、最小体积自编码器和 L2 正则化自编码器上评估了熵标准，并发现在所研究的模型类别中，当极化状态存在时，该标准能一致地恢复出极化状态。最后，我们表明，当潜变量编码被适当归一化时，被动维度可以在下游任务上产生微小但一致的改进，这表明坍缩通常是一个尺度问题，而非绝对的信息移除。