随机森林模型中置换重要性度量的渐近无偏性
机器学习
2019-12-10 v1 机器学习
统计理论
统计理论
摘要
稀疏回归模型中的变量选择是一项重要任务，正如从生物医学研究到计量经济学的诸多应用所表明的那样。特别是对于高维回归问题，由于响应变量与协变量之间的链接函数无法直接探测，选择信息性变量具有挑战性。在此情形下，随机森林方法是一种有用的工具，可在预测新结果的同时提供变量选择的度量。一种常见方法是使用置换重要性。由于其直观的思想和灵活的使用方式，探究基于随机森林的置换重要性在何种情形下能正确指示信息性协变量十分重要。就此，我们在特定假设下给出了置换重要性度量有效性的理论保证，并证明了其（渐近）无偏性。一项广泛的模拟研究验证了我们的发现。
引用
@article{arxiv.1912.03306,
title = {Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models},
author = {Burim Ramosaj and Markus Pauly},
journal= {arXiv preprint arXiv:1912.03306},
year = {2019}
}