关于 $w$-混合：指定分量分布的有限凸组合

Frank Nielsen; Richard Nock

关于 $w$-混合：指定分量分布的有限凸组合

机器学习 2021-06-09 v3

作者: Frank Nielsen , Richard Nock

摘要

我们考虑 $w$ -混合空间，其定义为共享相同指定分量分布并在凸组合下封闭的有限统计混合的集合。由设为 Shannon 负熵的 Bregman 生成元在该空间上诱导的信息几何产生了一个对偶平坦空间，称为混合族流形。我们展示了如何从对应于负熵生成元的 Bregman 散度中恢复 Kullback-Leibler (KL) 散度：即两个 $w$ -混合之间的 KL 散度等同于由 Shannon 负熵生成元诱导的 Bregman 散度 (BD)。因此，共享相同高斯分量的两个高斯混合模型 (GMM) 之间的 KL 散度等价于 Bregman 散度。混合族流形上的这种 KL-BD 等价性意味着我们可以对 $w$ -混合执行无信息损失的最优 KL 平均聚合。更一般地，我们证明了 $w$ -混合之间的统计偏斜 Jensen-Shannon 散度等价于其对应参数之间的偏斜 Jensen 散度。最后，我们陈述了与 $w$ -混合相关的若干性质、散度恒等式与不等式。

关键词

w-混合 Bregman 散度 Kullback-Leibler 散度信息几何高斯混合模型

引用

@article{arxiv.1708.00568,
  title  = {On $w$-mixtures: Finite convex combinations of prescribed component distributions},
  author = {Frank Nielsen and Richard Nock},
  journal= {arXiv preprint arXiv:1708.00568},
  year   = {2021}
}

备注

34 pages, extend a preliminary paper (ICASSP 2018)

关于 $w$-混合：指定分量分布的有限凸组合

摘要

关键词

引用

备注

相关论文