中文

稀疏与稳健回归中近似消息传递的非渐近分布理论

统计理论 2024-01-09 v1 信息论 机器学习 信号处理 math.IT 机器学习 统计理论

摘要

由于经典渐近理论在高维情况下的失效,刻画高维统计估计量的分布是一项具有挑战性的任务。本文通过为近似消息传递 (AMP)——一类被证明既可作为快速估计量又可作为强大理论工具的迭代算法——建立稀疏和稳健回归的非渐近分布刻画,在此方向上取得了进展。先前的 AMP 理论主要关注高维渐近性,未能描述当迭代次数超过 o(logn/loglogn)o\big({\log n}/{\log \log n}\big)(其中 nn 为样本量)时 AMP 的行为。我们为稀疏和稳健回归建立了 AMP 的第一个有限样本非渐近分布理论,该理论可容纳多项式次数的迭代。我们的结果推导出 AMP 迭代值高斯近似的近似精度,这改进了所有先前的结果,并意味着对最优调优的 Lasso 和稳健 M 估计量都有增强的分布刻画。

关键词

引用

@article{arxiv.2401.03923,
  title  = {A non-asymptotic distributional theory of approximate message passing for sparse and robust regression},
  author = {Gen Li and Yuting Wei},
  journal= {arXiv preprint arXiv:2401.03923},
  year   = {2024}
}