中文

EM算法在多元线性回归混合模型上的收敛性

机器学习 2019-11-27 v2 机器学习

摘要

我们研究了期望最大化(EM)算法在具有任意分量数kk的线性回归混合模型上的收敛性。我们表明,只要信噪比(SNR)为Ω~(k)\tilde{\Omega}(k),良好初始化的EM就会收敛到真实的回归参数。针对k3k \geq 3的先前结果仅建立了无噪声设定(即SNR无穷大)下的局部收敛。我们的结果将范围扩大到含噪声的环境,并且值得注意的是,我们建立了一个与回归参数的范数(或两两距离)无关的统计误差率。特别地,我们的结果意味着当σ0\sigma \rightarrow 0时精确恢复,这与大多数先前的EM局部收敛结果(其中统计误差随参数范数缩放)形成对比。标准的矩方法可用于保证我们处于局部收敛保证适用的区域。

关键词

引用

@article{arxiv.1905.12106,
  title  = {EM Converges for a Mixture of Many Linear Regressions},
  author = {Jeongyeol Kwon and Constantine Caramanis},
  journal= {arXiv preprint arXiv:1905.12106},
  year   = {2019}
}

备注

SNR, initialization conditions improved from previous version