稀疏高阶交互模型的安全特征剪枝
机器学习
2015-06-29 v1
摘要
在许多实际回归问题中，考虑协变量间的高阶交互是有价值的。然而，这是计算上具有挑战性的任务，因为除非协变量数量足够小，否则需考虑的高阶交互特征数量将极其庞大。本文中，我们提出了一种基于 LASSO 的此类高阶交互模型稀疏学习的新颖高效算法。我们减少特征数量的基本策略是采用近期提出的安全特征筛选（SFS）规则的思想。SFS 规则具有如下性质：若某特征满足该规则，则保证该特征在 LASSO 解中非活跃，意味着它可在 LASSO 训练过程前被安全筛除。若在 LASSO 训练前能筛除大量特征，计算成本和内存需求可大幅降低。然而，将此类 SFS 规则应用于数量极大的各个高阶交互特征在计算上不可行。我们解决此计算问题的关键思想是利用高阶交互特征间潜在的树结构。具体地，我们引入称为安全特征剪枝（SFP）规则的剪枝条件，其性质为：若在某树的某个节点满足该规则，则对应于其后代节点的所有高阶交互特征可保证在最优解中非活跃。我们的算法极其高效，使得例如处理 10,000 个原始协变量的三阶交互成为可能，其中可能的高阶交互特征数量大于 10^{12}。
引用
@article{arxiv.1506.08002,
title = {Safe Feature Pruning for Sparse High-Order Interaction Models},
author = {Kazuya Nakagawa and Shinya Suzumura and Masayuki Karasuyama and Koji Tsuda and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:1506.08002},
year = {2015}
}