基于最大似然密度比估计的概率散度统一视角：连接 KL 散度与积分概率度量
机器学习
2022-02-01 v1 人工智能
机器学习
摘要
本文从最大似然密度比估计（DRE）的视角，为 Kullback-Leibler（KL）散度与积分概率度量（IPMs）提供了统一视角。KL 散度与 IPMs 在生成建模等各类应用中被广泛使用。然而，对这些概念的统一理解仍未被探索。在本文中，我们表明 KL 散度与 IPMs 可表示为仅采样方案不同的最大似然，并利用该结果推导出 IPMs 的统一形式以及一种松弛估计方法。为构建估计问题，我们构造了一个无约束最大似然估计器，以分层采样方案执行 DRE。我们进一步提出一类称为密度比度量（DRMs）的新型概率散度，它插值于 KL 散度与 IPMs 之间。除这些发现外，我们还介绍了 DRMs 的一些应用，如 DRE 与生成对抗网络。在实验中，我们验证了所提方法的有效性。
引用
@article{arxiv.2201.13127,
title = {Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics},
author = {Masahiro Kato and Masaaki Imaizumi and Kentaro Minami},
journal= {arXiv preprint arXiv:2201.13127},
year = {2022}
}