高维估计的非局部先验

在高维中同时实现简约性和良好的预测能力是统计学中的一个主要挑战。非局部先验（NLP）在高维模型选择中具有吸引人的性质，但它们用于估计的研究尚未详细进行。我们表明，对于正则模型，基于NLP的贝叶斯模型平均（BMA）估计随着样本量n的增加，以快速多项式或准指数速率收缩虚假参数（取决于所选的先验密度）。非虚假参数估计与oracle MLE仅相差n^{-1}因子。我们将一些结果扩展到维度p随n增长的线性模型。结合我们的理论研究，我们概述了NLP作为截断分布混合的构造性表示。从实践者的角度来看，我们的工作使得简单的后验采样成为可能，并将NLP扩展到先前的提议之外。我们的结果表明，在p>>n的线性模型中，以降低的计算成本实现了显著的高维估计。在模拟中，NLP提供了比基准先验和超g先验、SCAD和LASSO更低的估计误差，并且在基因表达数据中，以少一个数量级的预测变量实现了更高的交叉验证R^2。值得注意的是，这些结果是在无需预筛选预测变量的情况下获得的。我们的发现为是否应该使用不同的先验进行估计和模型选择的争论做出了贡献，表明选择先验实际上可能对高维估计是可取的。