Kantorovich-Wasserstein 度量与 Kullback-Leibler 散度之间的关系
信息论
2019-08-27 v1 math.IT
最优化与控制
摘要
我们讨论 Kantorovich-Wasserstein（KW）度量与 Kullback-Leibler（KL）散度之间的关系。前者利用 Kantorovich 形式下的最优传输问题（OTP）定义。后者用于定义熵与互信息，它们出现在寻找最优信道（OCP）的变分问题中，源于率失真与信息价值理论。我们表明 OTP 等价于带一个固定输出测度附加约束的 OCP，因此带 KL 散度约束的 OCP 给出了 KW 度量的下界。OTP 的对偶公式使我们能够借助基于余弦定理的 KL 散度分解来探究 KL 散度与 KW 度量之间的关系。由此我们通过变分与几何原理展示了两种散度间的联系。
引用
@article{arxiv.1908.09211,
title = {Relation between the Kantorovich-Wasserstein metric and the Kullback-Leibler divergence},
author = {Roman V. Belavkin},
journal= {arXiv preprint arXiv:1908.09211},
year = {2019}
}