关于 ELBO 收敛于熵和

变分下界（又称 ELBO 或自由能）是许多已确立以及许多新颖无监督学习算法的核心目标。此类算法通常增大该下界，直到参数收敛到接近学习动力学驻点的值。此处我们证明（对于非常大一类生成模型）变分下界在学习的所有驻点处都等于熵的和。具体地，对于具有一组潜变量和一组观测变量的标准生成模型，该和由三个熵组成：（A）变分分布（平均）熵，（B）模型先验分布的负熵，以及（C）可观测分布（期望）负熵。所得结果在现实条件下适用，包括：有限数量的数据点、任意驻点（含鞍点）以及任意（性质良好）变分分布族。我们证明其等于熵和的生成模型类包含许多标准及新颖生成模型，包括标准（高斯）变分自编码器。我们用于证明等于熵和的前提条件相对温和。具体地，定义给定生成模型的分部必须属于指数族，且模型必须满足参数化准则（通常满足）。证明在驻点处 ELBO 等于熵和（在上述条件下）是本文的主要贡献。