随机森林的置信区间：刀切法与无穷小刀切法
机器学习
2014-04-01 v2 统计计算
统计方法学
摘要
我们研究了装袋学习器（bagged learners）和随机森林所作预测的变异性，并展示了如何估计这些方法的标准误。我们的工作建立在 Efron (1992, 2012) 提出的基于刀切法（jackknife）和无穷小刀切法（IJ）的装袋方差估计之上。在实践中，装袋预测器是使用有限数量 B 的自助法复本（bootstrap replicates）计算的，而使用较大的 B 可能在计算上非常昂贵。直接将刀切法和 IJ 估计量应用于装袋法需要 B 达到训练集大小 n 的 1.5 次方量级才能收敛。我们提出了改进版本，仅需 B 达到 n 的量级。此外，我们表明 IJ 估计量达到给定精度所需的自助法复本比刀切法少 1.7 倍。最后，我们研究了刀切法和 IJ 方差估计量本身的抽样分布。我们通过多个实验和模拟研究说明了我们的发现。
引用
@article{arxiv.1311.4555,
title = {Confidence Intervals for Random Forests: The Jackknife and the Infinitesimal Jackknife},
author = {Stefan Wager and Trevor Hastie and Bradley Efron},
journal= {arXiv preprint arXiv:1311.4555},
year = {2014}
}
备注
To appear in Journal of Machine Learning Research (JMLR)