高维线性回归中经验贝叶斯估计的平均场方法
统计理论
2023-10-27 v2 统计方法学
机器学习
统计理论
摘要
我们研究高维线性回归中的经验贝叶斯估计。为便于对底层先验进行计算高效的估计，我们采用由 Carbonetto 与 Stephens（2012）及 Kim 等人（2022）最初引入的变化经验贝叶斯方法。我们在对设计矩阵与先验的温和假设下，建立了非参数极大似然估计量（NPMLE）及其（可计算的）朴素平均场变分替代项的渐近一致性。进一步假设朴素平均场近似具有主导优化器，我们发展了 oracle 后验分布的计算高效近似，并在 1-Wasserstein 度量下确立其准确性。这使得计算可行的贝叶斯推断成为可能；例如，构建具有平均覆盖保证的后验可信区间、回归系数的贝叶斯最优估计、非零点比例的估计等。我们的分析涵盖确定性与随机设计，并容许特征间相关性。据我们所知，这提供了高维回归设定中首个无需稀疏性的严格非参数经验贝叶斯方法。
引用
@article{arxiv.2309.16843,
title = {A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression},
author = {Sumit Mukherjee and Bodhisattva Sen and Subhabrata Sen},
journal= {arXiv preprint arXiv:2309.16843},
year = {2023}
}
备注
38 pages, 1 figure; Clarified some details in this draft