基于决策树桩的最优稀疏恢复

决策树因其低计算成本、良好的预测性能以及评估特征重要性的能力而被广泛使用。尽管这些方法常用于特征选择，但其理论保证尚不为人所充分理解。本文针对使用单深度决策树的线性回归中的特征选择问题，给出了一个紧致的有限样本界。我们研究了这些“决策树桩”从 $p$ 个总特征中恢复 $s$ 个活跃特征（其中 $s \ll p$）的统计性质。我们的分析提供了对高维稀疏系统的紧致样本性能保证，其与 Lasso 所得的 $O(s \log p)$ 有限样本界一致，改进了先前针对中位数和最优分裂准则的界。我们的结果推广到非线性情形以及任意次高斯分布，表明基于树的方法在多种设置下均具有强大的特征选择性质，并进一步阐释了这些方法在实践中的成功。作为我们分析的一个副产品，我们表明即使活跃特征数 $s$ 未知，也能在理论上保证恢复。我们进一步通过计算实验验证了我们的理论结果和证明方法。