VAEs 与 GANs：以简单基分布和深度神经网络隐式逼近复杂分布的原理、必要性与局限性
机器学习
2025-03-05 v1 机器学习
摘要
本教程聚焦于变分自编码器 (VAE) 和生成对抗网络 (GAN) 的基本架构，忽略其众多变体，以突出其核心原理。两者都利用诸如高斯分布等简单分布作为基础，并借助神经网络的强非线性变换能力来逼近任意复杂的分布。其理论依据在于，多个高斯的线性组合几乎可以逼近任何概率分布，而神经网络则通过非线性变换实现进一步的细化。两种方法都以隐式方式逼近复杂数据分布。这种隐式逼近至关重要，因为直接显式建模高维分布往往难以实现。然而，选择简单潜在先验虽便于计算，却引入了局限性。在 VAEs 中，固定的高斯先验迫使后验分布与其对齐，可能导致信息丢失和表达性下降。这种限制影响模型的可解释性以及生成样本的质量。
引用
@article{arxiv.2503.01898,
title = {VAEs and GANs: Implicitly Approximating Complex Distributions with Simple Base Distributions and Deep Neural Networks -- Principles, Necessity, and Limitations},
author = {Yuan-Hao Wei},
journal= {arXiv preprint arXiv:2503.01898},
year = {2025}
}