通过两轮 EM 算法学习伯努利模板混合模型及其性能保证

Dasgupta 和 Shulman 表明，如果高斯分布分离良好且维度足够高，EM 算法的两轮变体可以以高概率学习高斯分布混合模型并达到接近最优的精度。在本文中，我们将他们的理论推广到学习高维伯努利模板混合模型。每个模板是一个二元向量，模板通过以一定概率独立地随机切换其二元分量来生成样本。在计算机视觉应用中，二元向量是图像的特征图，其中每个二元分量指示图像的某个单元内是否存在局部特征或结构。伯努利模板可被视为同一类别物体（或物体部分）图像的统计模型。我们表明，如果伯努利模板差异足够大且特征数量足够多，两轮 EM 算法可以以高概率学习伯努利模板混合模型并达到接近最优的精度。我们通过合成示例和真实示例说明了理论结果。