混合线性回归 EM 算法的结构性质、环形轨迹与非渐近收敛保证
机器学习
2025-11-10 v1
摘要
本文研究了两组混合线性回归 (2MLR) 中 EM 算法的结构性质、环形轨迹以及非渐近收敛保证，其中混合权重和回归参数均为未知。最近的研究在混合权重已知且平衡的 2MLR 上建立了全局收敛，在无噪声和高信噪比 (SNR) 条件下证明了超线性收敛。然而，EM 在完全未知情况下的理论行为仍不清晰，其轨迹和收敛阶数尚未完全刻画。我们推导了混合权重和回归参数均为未知的 2MLR 的明确 EM 更新表达式，并分析其结构性质和环形轨迹。在无噪声情况下，我们证明了回归参数在 EM 迭代中的轨迹形成环形线，通过建立次优角的递推关系来实现；在高 SNR 条件下，我们量化了其与环形轨迹之间的偏差。基于轨迹的分析揭示了收敛阶：当 EM 估计值几乎正交于真实值时为线性收敛；当估计值与真实值之间的夹角较小时为二次收敛。我们的分析通过细化有限样本 EM 更新与 population EM 更新之间的统计误差界，将 EM 的统计精度与次优角相关联，并在任意初始化下证明了有限样本层面的收敛。这项工作为分析混合线性回归中的 EM 算法提供了一种新颖的基于轨迹的框架。
引用
@article{arxiv.2511.04937,
title = {Structural Properties, Cycloid Trajectories and Non-Asymptotic Guarantees of EM Algorithm for Mixed Linear Regression},
author = {Zhankun Luo and Abolfazl Hashemi},
journal= {arXiv preprint arXiv:2511.04937},
year = {2025}
}
备注
Preprint of the paper submitted to IEEE Transactions on Information Theory