中文

广义线性模型中线性估计量与谱估计量的最优组合

机器学习 2021-06-28 v3 信息论 机器学习 math.IT 统计理论 统计理论

摘要

我们研究从带有高斯感知矩阵的广义线性模型获取测量值来恢复未知信号 x\boldsymbol x 的问题。两种流行的解决方案基于线性估计量 x^L\hat{\boldsymbol x}^{\rm L} 和谱估计量 x^s\hat{\boldsymbol x}^{\rm s}。前者是测量矩阵各列的数据依赖线性组合,其分析相当简单。后者是数据依赖矩阵的主特征向量,近期一系列工作研究了其性能。在本文中,我们展示如何最优地组合 x^L\hat{\boldsymbol x}^{\rm L}x^s\hat{\boldsymbol x}^{\rm s}。我们分析的核心是在高维极限下对 (x,x^L,x^s)(\boldsymbol x, \hat{\boldsymbol x}^{\rm L}, \hat{\boldsymbol x}^{\rm s}) 联合经验分布的精确刻画。这使我们能在给定信号 x\boldsymbol x 极限分布时,计算 x^L\hat{\boldsymbol x}^{\rm L}x^s\hat{\boldsymbol x}^{\rm s} 的贝叶斯最优组合。当信号分布为高斯时,贝叶斯最优组合具有形式 θx^L+x^s\theta\hat{\boldsymbol x}^{\rm L}+\hat{\boldsymbol x}^{\rm s},我们推导了最优组合系数。为建立 (x,x^L,x^s)(\boldsymbol x, \hat{\boldsymbol x}^{\rm L}, \hat{\boldsymbol x}^{\rm s}) 的极限分布,我们设计并分析了一种近似消息传递(AMP)算法,其迭代给出 x^L\hat{\boldsymbol x}^{\rm L} 并逼近 x^s\hat{\boldsymbol x}^{\rm s}。数值模拟展示了所提组合相对于单独考虑的两种方法之改进。

关键词

引用

@article{arxiv.2008.03326,
  title  = {Optimal Combination of Linear and Spectral Estimators for Generalized Linear Models},
  author = {Marco Mondelli and Christos Thrampoulidis and Ramji Venkataramanan},
  journal= {arXiv preprint arXiv:2008.03326},
  year   = {2021}
}

备注

49 pages, 6 figures