揭示混合线性回归中 EM 迭代的圆摆轨迹
密码学与安全
2024-07-08 v2 计算机视觉与模式识别
机器学习
摘要
我们研究了 EM 算法在两组件混合线性回归（2MLR）中的迭代轨迹及其收敛速度。MLR 的根本目标是从无标签观测数据中学习回归模型。EM 算法在混合线性回归中有广泛应用。近期结果在某些假设下建立了 2MLR 在无噪声和高信噪比（SNR）情景下的超线性收敛，并确认了随机初始化下的全局收敛速度。然而，收敛指数尚未被理论估计，EM 迭代轨迹的几何性质也不为人所知。本文首先利用 Bessel 函数给出所有 SNR 条件下 EM 更新的显式闭式表达式。随后，在无噪声情景下，通过推导人口水平的递推关系，完全刻画了 EM 迭代的行为，并 notably 显示所有迭代均位于某圆摆曲线上。基于这一新的轨迹分析，我们展示了超线性收敛指数的理论估计，并进一步改进了有限样本水平的统计误差界。我们的分析为研究 MLR 的 EM 算法行为提供了新框架。
引用
@article{arxiv.2405.18236,
title = {Position Paper: Think Globally, React Locally -- Bringing Real-time Reference-based Website Phishing Detection on macOS},
author = {Ivan Petrukha and Nataliia Stulova and Sergii Kryvoblotskyi},
journal= {arXiv preprint arXiv:2405.18236},
year = {2024}
}
备注
[v1] 8 pages, 7 figures, 8 tables. Accepted to STAST'24, 14th International Workshop on Socio-Technical Aspects in Security, Affiliated with the 9th IEEE European Symposium on Security and Privacy, https://stast.uni.lu/ [v2] 8 pages, 9 figures, 9 tables. Added an extended evaluation of the solution on a 50K mixed phishing and benign webpage dataset (Section 4.1.4)