梯度提升特征选择
机器学习
2019-01-15 v1 机器学习
摘要
一个理想的特征选择算法应满足四个条件：可靠地提取相关特征；能够识别非线性特征交互；随特征数和维数线性扩展；允许引入已知的稀疏结构。在这项工作中，我们提出了一种新颖的特征选择算法——梯度提升特征选择（Gradient Boosted Feature Selection, GBFS），它满足上述全部四项要求。该算法灵活、可扩展，并且基于梯度提升树（Gradient Boosted Trees）的改进，实现起来出奇地简单直接。我们在多个真实世界数据集上评估了GBFS，表明它匹配或优于其他SOTA特征选择算法。而且它能扩展到更大的数据集规模，并自然地允许融入领域特定的辅助信息。
引用
@article{arxiv.1901.04055,
title = {Gradient Boosted Feature Selection},
author = {Zhixiang Eddie Xu and Gao Huang and Kilian Q. Weinberger and Alice X. Zheng},
journal= {arXiv preprint arXiv:1901.04055},
year = {2019}
}