马蹄先验与其他收缩先验中的稀疏性信息与正则化

马蹄先验已被证明是稀疏贝叶斯估计中一种值得注意的替代方案，但先前存在两个问题。首先，基于关于参数向量中稀疏程度的前验信息，一直没有系统的方法来指定全局收缩超参数的先验。其次，马蹄先验具有一个不期望的特性，即无法分别指定关于稀疏性的信息以及针对最大系数的正则化量，这对于弱识别参数（例如数据分离情形下的逻辑回归系数）可能带来问题。本文针对这两个问题提出了解决方案。我们引入了有效非零参数数量的概念，展示了一种基于稀疏性假设来制定全局超参数先验的直观方法，并论证了先前的默认选择因其倾向于支持比我们通常先验预期更多未收缩参数的解而值得怀疑。此外，我们引入了马蹄先验的一种推广，称为正则化马蹄（regularized horseshoe），它允许我们为最大值指定最小正则化水平。我们表明，新先验可被视为具有有限平板宽度的尖峰-平板（spike-and-slab）先验的连续对应物，而原始马蹄类似于具有无限宽平板的尖峰-平板。在合成和真实世界数据上的数值实验说明了这两项理论进展的益处。