复杂依赖结构下 Solar 变量选择比较的准确性与稳定性
机器学习
2020-12-17 v2 机器学习
摘要
本文关注子样本有序最小角回归（Solar）——一种新颖的超高维 lasso 重构——在具有复杂依赖结构因而存在严重多重共线性与分组效应问题的经验数据上的变量选择经验表现。先前研究表明，Solar 大幅缓解了最小角回归与 收缩的若干已知高维问题。并且，在相同计算负载下，Solar 在变量选择的稀疏性（所选变量平均数量减少 37-64%）、稳定性与准确性方面均较两种 lasso 求解器（用于 lasso 的最小角回归与坐标下降）有实质性改进。模拟还表明，Solar 增强了变量选择对不可表示条件不同设定以及回归分析中假设依赖结构变化的鲁棒性。为确认这些改进在经验研究中同样存在，我们选取前列腺癌数据与悉尼房价数据，将两种 lasso 求解器、弹性网络与 Solar 应用于其上进行比较。结果显示：(i) lasso 受分组效应影响并随机丢弃高相关变量，导致结果不可靠且不可解释；(ii) 弹性网络对分组效应更鲁棒，但在数据依赖结构复杂时完全丧失变量选择稀疏性；(iii) Solar 展现出对复杂依赖结构与分组效应的优越鲁棒性，给出具有更好稳定性与稀疏性的变量选择结果。代码见 https://github.com/isaac2math/solar_application
引用
@article{arxiv.2007.15614,
title = {Accuracy and stability of solar variable selection comparison under complicated dependence structures},
author = {Ning Xu and Timothy C. G. Fisher and Jian Hong},
journal= {arXiv preprint arXiv:2007.15614},
year = {2020}
}
备注
Minor errors on data and table fixed; to focus on variable selection, causal inference moved to arXiv:2007.15769