高斯扰动下 KL 散度的最优稳定性

我们研究 characterize KL 散度在高斯扰动下的稳定性，超越高斯族的限制。现有的 KL 散度松弛三角不等式严重依赖于所有涉及分布均为高斯的假设，这限制了其在现代应用中的可行性，如基于流的生成模型的分布外(OOD)检测。在本文中，我们通过在 mild moment条件下，在任意分布与高斯族之间建立尖锐稳定性界限，消除了这一限制。具体而言，设 $P$ 为具有有限第二矩的分布，设 $\mathcal{N}_1$ 和 $\mathcal{N}_2$ 为多元高斯分布。我们证明若 $KL(P||\mathcal{N}_1)$ 较大且 $KL(\mathcal{N}_1||\mathcal{N}_2)$ 最多为 $\epsilon$，则 $KL(P||\mathcal{N}_2) \ge KL(P||\mathcal{N}_1) - O(\sqrt{\epsilon})$。此外，我们证明该 $\sqrt{\epsilon}$ 速率在一般情况下是最优的，即使在高斯族内部也是如此。该结果揭示了 KL 散度在高斯扰动下的内在稳定性属性，将经典仅针对高斯的松弛三角不等式扩展到一般分布。由于 KL 散度的非对称性以及在一般概率空间中不存在三角不等式，此结果具有挑战性。作为应用，我们为基于 KL 的 OOD 分析在流模型中提供了严格的理论基础，消除了先前工作中使用的强高斯假设。更广泛地说，我们的結果使得在深度学习和强化学习中出现的非高斯情境下的 KL 基于推理成为可能。