结合 $l_1$ 与贪婪 $l_0$ 惩罚最小二乘法的线性模型选择
机器学习
2013-10-24 v1
摘要
我们提出了一种计算高效的线性模型选择算法，包含三个步骤：筛选–排序–选择（SOS）。预测变量的筛选基于阈值 Lasso，即 惩罚最小二乘法。筛选后的预测变量随后使用最小二乘法（LS）进行拟合，并根据其 统计量进行排序。最后，利用贪婪广义信息准则（GIC）选择模型，该准则是在由排序导出的嵌套族中进行的 惩罚 LS。我们给出了 SOS 算法每一步误差概率的非渐近上界，这些上界用两种惩罚项表示。随后，在 Lasso 筛选一致性所需的条件下，我们针对不同 场景获得了选择一致性。对于传统设定（），我们给出了排序–选择算法误差概率的 Sanov 型界。其令人惊讶的推论是，贪婪 GIC 的选择误差在渐近意义上不大于穷举 GIC 的选择误差。我们还获得了关于 Lasso 预测误差和估计误差的新界，这些界是针对实际使用的算法及其形式化版本并行证明的。
引用
@article{arxiv.1310.6062,
title = {Combined l_1 and greedy l_0 penalized least squares for linear model selection},
author = {Piotr Pokarowski and Jan Mielniczuk},
journal= {arXiv preprint arXiv:1310.6062},
year = {2013}
}