高斯分布 KL 散度：面向变分自编码器目标的逐步推导
机器学习
2026-04-14 v1
摘要
Kullback-Leibner (KL) 散度是信息论中的基本概念，衡量两个概率分布之间的差异。在变分自编码器 (VAE) 的语境中，它作为核心正则化项，构造潜在空间的结构，从而使模型具备生成能力。本文提供了关于高斯分布 KL 散度闭式表达式的详细推导，这在实际 VAE 实现中尤为重要。我们从连续随机变量的通用定义出发，推导单变量情形，再扩展到在对角协方差假设下的多变量情形。最后，我们讨论结果表达式中每个术语的解释及其对模型训练动力学的影响。
引用
@article{arxiv.2604.11744,
title = {KL Divergence Between Gaussians: A Step-by-Step Derivation for the Variational Autoencoder Objective},
author = {Andrés Muñoz and Rodrigo Ramele},
journal= {arXiv preprint arXiv:2604.11744},
year = {2026}
}
备注
8 pages, no figures. Derivation of the KL divergence between Gaussian distributions with application to Variational Autoencoders (VAEs)