变分 Garrote

本文提出了一种使用 $L_0$ 正则化进行稀疏回归的新变分方法。变分参数出现在近似模型中的方式类似于 Breiman 的 Garrote 模型。我们将此方法称为变分 Garrote (VG)。我们证明，变分近似与 $L_0$ 正则化的结合具有使问题有效达到最大秩的效果，即使当样本数相对于变量数较小时也是如此。我们将 VG 与 Lasso 方法、岭回归以及最近提出的配对平均场方法 (PMF) (M. Titsias & M. Lázaro-Gredilla., NIPS 2012) 进行了数值比较。数值结果表明，VG 和 PMF 比其他方法产生更准确的预测，并能更准确地重建真实模型。结果表明，当 Lasso 解因输入变量间强相关而不一致时，VG 能找到正确的解。总体而言，VG 显著快于 PMF，并且在问题变得更稠密以及输入变量强相关的问题中往往表现更好。VG 的朴素实现的计算量随特征数成立方增长。通过引入拉格朗日乘子，我们得到了问题的对偶形式，其计算量随样本数成立方增长，但随特征数接近线性增长。