用于学习瘦树的端到端特征选择方法

我们提出一种基于优化的树集成特征选择新方法，这是统计与机器学习中的重要问题。流行的树集成工具包（如梯度提升树和随机森林）支持基于特征重要性分数的训练后特征选择，尽管非常流行，但已知存在缺陷。我们提出瘦树（Skinny Trees）：一种用于树集成特征选择的端到端工具包，在训练树集成的同时控制所选特征的数量。我们基于优化的方法学习一组可微树集成，并使用分组 $\ell_0$ 正则化器同时执行特征选择。我们使用一阶方法进行优化，并给出了该方法的收敛保证。我们采用稠密到稀疏的正则化调度方案，可得到更具表达力且更稀疏的树集成。在 15 个合成与真实世界数据集上，瘦树可实现 $1.5\!\times\! -~620~\!\times\!$ 的特征压缩率，相较稠密树带来高达 $10\times$ 更快的推理，且性能无任何损失。瘦树的特征选择优于许多现有工具包，例如在 25% 特征预算下就 AUC 性能而言，瘦树优于 LightGBM $10.2\%$（最高 $37.7\%$），优于随机森林 $3\%$（最高 $12.5\%$）。