中文

近最优复杂度的线性回归混合学习

机器学习 2020-03-31 v3

摘要

线性回归混合(MLR)是一类重要的混合模型,应用广泛。该模型中,每次观测由若干未知线性回归分量之一生成,且生成分量的身份未知。以往工作要么对数据分布作强假设,要么复杂度高。本文在该问题的通用条件下提出一种固定参数可解算法,实现全局收敛且样本复杂度随维度近线性缩放。特别地,不同于要求数据来自标准高斯分布的以往工作,该算法允许数据来自具有不同协方差的高斯分布。当协方差的条件数与分量数固定时,算法具有近最优样本复杂度 N=O~(d)N = \tilde{O}(d) 以及近最优计算复杂度 O~(Nd)\tilde{O}(Nd),其中 dd 为数据空间维度。据我们所知,该方法为此通用设定提供了首个此类恢复保证。

关键词

引用

@article{arxiv.1802.07895,
  title  = {Learning Mixtures of Linear Regressions with Nearly Optimal Complexity},
  author = {Yuanzhi Li and Yingyu Liang},
  journal= {arXiv preprint arXiv:1802.07895},
  year   = {2020}
}

备注

Fix some typesetting issue in v2