无限中心化随机森林的渐近正态性 -关于不平衡分类的应用
机器学习
2025-06-11 v1 机器学习
摘要
许多分类任务涉及不平衡数据，其中某一类被大幅低估。Several技术 consists in creating a rebalanced dataset on which a classifier is trained。在本文中，我们研究了当分类器为中心化随机森林（CRF）时，这种技术的理论行为。我们在无限CRF上建立了中心极限定理（CLT），并给出明确的收敛速率和精确常数。我们证明，训练在重新平衡数据集上的CRF会产生偏差，这可以通过适当的技术方法予以消除。基于重要抽样（IS）的方法，经过去偏处理的估计器称为IS-ICRF，满足一个在预测函数值中心化的CLT。对于高度不平衡的情况，我们证明IS-ICRF估计器相对于在原始数据上训练的ICRF在方差上具有降低。因此，我们的理论分析表明，训练在重新平衡数据集上（随后进行去偏处理）的随机森林相对于使用原始数据具有优势。我们的理论结果，特别是方差速率和方差降低，似乎适用于我们实验中的布雷曼随机森林。
引用
@article{arxiv.2506.08548,
title = {Asymptotic Normality of Infinite Centered Random Forests -Application to Imbalanced Classification},
author = {Moria Mayala and Erwan Scornet and Charles Tillier and Olivier Wintenberger},
journal= {arXiv preprint arXiv:2506.08548},
year = {2025}
}