$t^3$-Variational Autoencoder：利用 Student's t 和幂散度学习重尾数据

变分自编码器（VAE）通常采用标准正态先验作为概率潜在编码器的正则化项。然而，高斯尾衰减过快，无法有效容纳编码点，未能保留数据中隐藏的关键结构。在本文中，我们探索使用重尾模型来对抗过度正则化。基于信息几何的见解，我们提出了 $t^3$VAE，这是一种改进的 VAE 框架，在先验、编码器和解码器中均引入了 Student's t 分布。这产生了一种幂形式的联合模型分布，我们认为它能更好地拟合真实世界数据集。我们通过将证据下界重新表述为两个统计流形之间的 KL 散度的联合优化，并用 $\gamma$-power divergence 替代它，推导出了一个新的目标函数，这是幂族的天然替代品。在重尾合成数据上训练时，$t^3$VAE 展现出对低密度区域的优越生成能力。此外，我们表明 $t^3$VAE 在 CelebA 和不平衡的 CIFAR-100 数据集上显著优于其他模型。