学习稀疏线性回归混合模型的样本复杂度
机器学习
2019-11-01 v1 信息论
math.IT
机器学习
摘要
在线性回归混合模型的学习问题中，目标是从一系列（可能含噪的）线性测量中学习一组信号向量，其中每次测量都在从该集合中均匀抽取的一个未知信号上求值。该设定具有相当强的表达能力，既在实际应用层面被研究，也出于建立理论保证的目的被探讨。本文考虑信号向量为稀疏的情形；这推广了流行的压缩感知范式。我们在已有最优结果上做出如下改进：在含噪情形下，我们解决了 Yin 等人（IEEE Transactions on Information Theory, 2019）的一个开放问题，展示了如何处理多于两个向量的集合，并给出了首个鲁棒重建算法，即若信号并非完美稀疏，我们仍能学习到信号的良好稀疏近似。在无噪情形以及含噪情形下，我们展示了如何规避先前工作所需的一个限制性假设。我们的技术与先前工作颇为不同：对于无噪情形，我们依赖于稀疏多项式的一个性质；对于含噪情形，我们给出了与高斯混合学习的新联系，并运用了纠错码理论中的思想。
引用
@article{arxiv.1910.14106,
title = {Sample Complexity of Learning Mixtures of Sparse Linear Regressions},
author = {Akshay Krishnamurthy and Arya Mazumdar and Andrew McGregor and Soumyabrata Pal},
journal= {arXiv preprint arXiv:1910.14106},
year = {2019}
}
备注
NeurIPS 2019