Solar:用于高维数据快速准确变量选择的 $L_0$ 解路径平均
机器学习
2022-05-09 v3 机器学习
摘要
我们提出一种新的变量选择算法——子样本有序最小角回归(solar),及其坐标下降推广 solar-cd。Solar 利用 范数重构 lasso 路径,并跨子样本平均所得解路径。路径平均保留信息变量的排序信息,同时平均掉对高维的敏感性,提升变量选择的稳定性、效率与准确性。我们证明:(i)以高概率,路径平均在平均 路径上完美分离信息变量与冗余变量;(ii)solar 变量选择是一致且准确的;(iii)有限样本下 solar 遗漏弱信号的概率可控。我们还展示:(i)solar 以低于 lasso 计算负载 1/3 的代价,在稀疏性(冗余变量选择减少 64–84%)与变量选择准确性上大幅优于 lasso;(ii)相较 lasso 安全/强规则与变量筛选,solar 在复杂依赖结构下大幅避免选入冗余变量与剔除信息变量;(iii)solar 的稀疏性与稳定性保留残差自由度用于数据分割假设检验,提升有限 下对弱信号选后推断的准确性;(iv)在 bootstrap 选择(如 bolasso 或稳定性选择)中以 solar 替换 lasso,产生多层变量排序方案,以仅一次 lasso 实现的计算负载改善选择稀疏性与排序准确性;(v)给定计算资源,solar bootstrap 选择远快于并行 bootstrap lasso 的理论最大加速(由阿姆达尔定律证实,计算时间降低 98%)。
引用
@article{arxiv.2007.15707,
title = {Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data},
author = {Ning Xu and Timothy C. G. Fisher},
journal= {arXiv preprint arXiv:2007.15707},
year = {2022}
}