稀疏与稳健回归中近似消息传递的非渐近分布理论
统计理论
2024-01-09 v1 信息论
机器学习
信号处理
math.IT
机器学习
统计理论
摘要
由于经典渐近理论在高维情况下的失效,刻画高维统计估计量的分布是一项具有挑战性的任务。本文通过为近似消息传递 (AMP)——一类被证明既可作为快速估计量又可作为强大理论工具的迭代算法——建立稀疏和稳健回归的非渐近分布刻画,在此方向上取得了进展。先前的 AMP 理论主要关注高维渐近性,未能描述当迭代次数超过 (其中 为样本量)时 AMP 的行为。我们为稀疏和稳健回归建立了 AMP 的第一个有限样本非渐近分布理论,该理论可容纳多项式次数的迭代。我们的结果推导出 AMP 迭代值高斯近似的近似精度,这改进了所有先前的结果,并意味着对最优调优的 Lasso 和稳健 M 估计量都有增强的分布刻画。
引用
@article{arxiv.2401.03923,
title = {A non-asymptotic distributional theory of approximate message passing for sparse and robust regression},
author = {Gen Li and Yuting Wei},
journal= {arXiv preprint arXiv:2401.03923},
year = {2024}
}