双组分混合模型中 EM 与 GD 的比较
机器学习
2019-10-30 v3 统计理论
机器学习
统计理论
摘要
期望最大化（EM）算法已被广泛用于最小化混合模型的负对数似然（也称为交叉熵）。然而，关于其收敛到的不动点的优劣人们知之甚少。在本文中，我们研究了双组分混合模型中一个分量缺失的区域，我们称之为单簇区域。我们分析了此类区域对高斯双混合和伯努利双混合捕获 EM 与梯度下降（GD）的倾向。在高斯混合的情形，EM 以指数速度逃离单簇区域，而 GD 以线性速度逃离。在伯努利混合的情形，我们发现存在对 GD 稳定因而捕获 GD 的单簇区域，但这些区域对 EM 不稳定，使 EM 得以逃离。这些区域是在实验中普遍出现的局部极小，并且可以任意糟糕。本工作意味着在混合模型中 EM 比 GD 更不容易收敛到某些糟糕的局部最优。
引用
@article{arxiv.1907.03783,
title = {Comparing EM with GD in Mixture Models of Two Components},
author = {Guojun Zhang and Pascal Poupart and George Trimponias},
journal= {arXiv preprint arXiv:1907.03783},
year = {2019}
}
备注
UAI 2019