有限混合模型似然函数的一个紧凸上界

有限混合模型的似然函数是一个具有多个局部极大值的非凸函数，常用的迭代算法（如EM）会根据初始条件收敛到不同的解。本文提出一个问题：是否可能评估我们离似然函数的全局最大值有多远？由于通过将高斯分布中心置于单个数据点并收缩协方差，有限混合模型的似然可以无限增长，我们通过假设各个模型的参数是一个大型离散集的成员来约束该问题（例如，估计两个高斯的混合，其中两个高斯的均值和方差均来自一个包含一百万个可能均值和方差的集合）。针对此设定，我们证明可以使用凸优化计算似然函数的一个简单上界，并分析了该界保证为紧界的条件。该界随后可用于评估EM（最终结果投影到离散集上）或任何其他混合估计算法所找到的解的质量。对于任何数据集，我们的方法使我们能够找到一个有限混合模型，并给出一个特定于数据集的界，以衡量该混合模型的似然离全局最优似然有多远。