中文

贝叶斯$L_{\frac{1}{2}}$回归

统计方法学 2024-06-27 v2 统计理论 统计理论

摘要

众所周知,与传统LASSO相比,Bridge回归具有更优的理论性质。然而,其贝叶斯对应项基于指数幂先验的当前潜变量表示在高维下计算代价高昂。在本文中,我们证明指数幂先验对α=(12)γ,γ{1,2,}\alpha=(\frac{1}{2})^\gamma, \gamma \in \{1, 2,\ldots\}具有闭式正态尺度混合分解。我们简称此类先验为L12L_{\frac{1}{2}}先验。我们利用L12L_{\frac{1}{2}}先验开发了高效的部分坍缩Gibbs采样方案用于计算,并研究了当p>np>n时的理论性质。此外,受全贝叶斯公式启发,我们引入了一种不可分离Bridge惩罚函数以及一种新颖高效的坐标下降算法。我们证明了算法的收敛性,并表明优化算法的局部极小化子具有 oracle 性质。最后,进行了仿真研究以说明新算法的性能。本文的补充材料可在线获取。

关键词

引用

@article{arxiv.2108.03464,
  title  = {Bayesian $L_{\frac{1}{2}}$ regression},
  author = {Xiongwen Ke and Yanan Fan},
  journal= {arXiv preprint arXiv:2108.03464},
  year   = {2024}
}