VQ-VAE 的信息论泛化分析：潜变量的作用
机器学习
2025-11-07 v2 机器学习
摘要
潜变量（LVs）通过实现有效的数据压缩、预测和生成，在编码器-解码器模型中发挥着至关重要的作用。尽管其理论特性（如泛化能力）在监督学习中已被广泛研究，但对变分自编码器（VAE）等无监督模型的类似分析仍探讨不足。在本工作中，我们将信息论泛化分析扩展至具有离散潜空间的向量量化（VQ）VAE，引入了一种新颖的数据依赖先验，以严格分析 LVs、泛化和数据生成之间的关系。我们推导出了 VQ-VAE 重构损失的一个新颖的泛化误差界，该界仅依赖于 LVs 和编码器的复杂度，而独立于解码器。此外，我们给出了真实数据分布与生成数据分布之间 2-Wasserstein 距离的上界，解释了 LVs 的正则化如何有助于提升数据生成性能。
引用
@article{arxiv.2505.19470,
title = {Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables},
author = {Futoshi Futami and Masahiro Fujisawa},
journal= {arXiv preprint arXiv:2505.19470},
year = {2025}
}