几何 Jensen--Shannon 发散的两个故事

几何 Jensen--Shannon 发散 (G-JSD) 因其在高斯分布之间的闭式表达式而在机器学习和信息科学中获得了流行。在本工作中，我们提出了一种针对正密度的替代定义，其不归一化几何混合。这一新型发散称为扩展 G-JSD，因为它适用于更一般的正测度的情况。我们明确报告了在考虑概率密度时，扩展 G-JSD 与 G-JSD 之间的差距，并展示了如何使用 Jeffreys 发散和 Bhattacharyya 距离或 Bhattacharyya 系数来表示 G-JSD 和扩展 G-JSD。证明了扩展 G-JSD 是一个 $f$-发散，这是一种可分离的发散，满足信息单调性和信息几何中的不变性。我们推导出在考虑通常出现于应用中的二维高斯分布的情况时，两种 G-JSDs 的相应闭式公式。我们考虑使用项目 $\gamma$-发散进行蒙特卡洛随机估计和近似。虽然 JSD 的平方根产生一种度量距离，但我们显示这两种 G-JSD 类型的情况并非如此。最后，我们解释了这两种几何 JSD 如何被解释为普通 JSD 的正则化。