使用无穷小刀切法估计随机森林渐近方差时重采样与递归划分方法的比较
机器学习
2021-08-05 v2
摘要
无穷小刀切法（IJ）近期被应用于随机森林以估计其预测方差。这些定理是在使用分类与回归树（CART）及自助重采样的传统随机森林框架下得到验证的。然而，人们发现使用条件推断（CI）树与子采样的随机森林不易产生变量选择偏差。在此，我们采用一种新方法进行模拟实验，以探讨 IJ 在使用不同重采样方法与基学习器组合的随机森林中的适用性。我们模拟了测试数据点，并在一百个模拟训练数据集上使用不同重采样与基学习器组合的随机森林对每个点进行训练。结果表明，使用 CI 树代替传统 CART 树，以及使用子采样代替自助采样，在使用 IJ 时能获得更准确的预测方差估计。本文中的随机森林变体已被整合到一个用于 R 编程语言的开源软件包中。
引用
@article{arxiv.1706.06150,
title = {A Comparison of Resampling and Recursive Partitioning Methods in Random Forest for Estimating the Asymptotic Variance Using the Infinitesimal Jackknife},
author = {Cole Brokamp and MB Rao and Patrick Ryan and Roman Jandarov},
journal= {arXiv preprint arXiv:1706.06150},
year = {2021}
}