基于指数多项式密度的单变量高斯混合模型间 Jeffreys 散度的快速近似

Jeffreys 散度是有向 Kullback-Leibler 散度的一种著名对称化形式，在信息科学中被广泛使用。由于高斯混合模型之间的 Jeffreys 散度没有闭式解，文献中已提出各种各有优劣的技术来估计、近似或给出该散度的上下界。本文提出一种简单而快速的启发式方法，用于近似两个具有任意分量数的单变量高斯混合之间的 Jeffreys 散度。我们的启发式方法依赖于将混合模型转换为属于指数族的对偶参数化概率密度对。特别地，我们考虑通用的多项式指数族密度，并设计一种闭式散度来衡量高斯混合与其多项式指数密度近似之间的拟合优度。该拟合优度散度是用于估计具有计算上难处理归一化常数模型的 Hyvärinen 散度的一种推广。它使我们能够通过选择用于近似混合模型的多项式指数密度的阶数来进行模型选择。我们通过实验证明，我们的 Jeffreys 散度近似启发式方法将随机 Monte Carlo 估计的计算时间改善了数个数量级，同时能合理地近似 Jeffreys 散度，尤其在混合模型具有极少模态时。此外，我们的混合模型到指数族的转换技术可能在其他场景中有用。