多元高斯分布间 Kullback-Leibler 散度的性质
信息论
2023-01-24 v5 人工智能
math.IT
摘要
Kullback-Leibler（KL）散度是概率分布间最重要的散度度量之一。本文中，我们证明多元高斯分布间 KL 散度的若干性质。首先，对于任意两个 n 维高斯分布 N_1 与 N_2，当 KL(N_2||N_1)≤ε (ε>0) 时，我们给出 KL(N_1||N_2) 的上确界。对于小 ε，我们表明该上确界为 ε + 2ε^{1.5} + O(ε^2)。这量化了高斯间小 KL 散度的近似对称性。我们还找到了当 KL(N_2||N_1)≥M (M>0) 时 KL(N_1||N_2) 的下确界。我们给出上确界与下确界可达的条件。其次，对于任意三个 n 维高斯 N_1、N_2 与 N_3，若 KL(N_1||N_2)≤ε_1 且 KL(N_2||N_3)≤ε_2（ε_1,ε_2≥0），我们找到 KL(N_1||N_3) 的上界。对于小 ε_1 与 ε_2，我们表明上界为 3ε_1+3ε_2+2√(ε_1ε_2)+o(ε_1)+o(ε_2)。这揭示了高斯间 KL 散度遵循松弛三角不等式。重要的是，本文定理中的所有界均独立于维度 n。最后，我们讨论了我们的定理在解释基于流的模型的违反直觉现象、推导深度异常检测算法，以及将安全强化学习中的一步鲁棒性保证扩展到多步中的应用。
引用
@article{arxiv.2102.05485,
title = {On the Properties of Kullback-Leibler Divergence Between Multivariate Gaussian Distributions},
author = {Yufeng Zhang and Wanwei Liu and Zhenbang Chen and Ji Wang and Kenli Li},
journal= {arXiv preprint arXiv:2102.05485},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2002.03328