Bootstrap 采样率对随机森林回归任务性能的影响
机器学习
2025-11-19 v1
摘要
随机森林（RF）通常在与训练集相同大小的 bootstrap 样本上训练每棵树，即 bootstrap rate（BR）等于 1.0。我们系统性地检查了 BR 从 0.2 到 5.0 如何在 39 个异构回归数据集和 16 种 RF 配置上影响 RF 性能，采用重复两折交叉验证和均方误差进行评估。我们的结果表明，调整 BR 可为默认值带来显著改进：最佳配置在 24 个数据集上依赖 BR ≤ 1.0，在 15 个数据集上依赖 BR > 1.0，仅在 4 个案例中 BR = 1.0 为最优。我们在数据集特征与首选 BR 之间建立了联系：具有强全局特征-目标关系的数据集倾向于更高的 BR，而目标局部方差更高的数据集则受益于较低的 BR。为进一步探讨这一关系，我们在具有可控噪声水平的合成数据集上进行了实验。这些实验复现了观察到的偏差-方差权衡：在低噪声情境下，更高的 BR 有效降低模型偏差，而在高噪声环境中，较低的 BR 有助于降低模型方差。总体而言，BR 是一个具有影响力的超参数，应该被微调以优化 RF 回归模型。
关键词
引用
@article{arxiv.2511.13952,
title = {The Impact of Bootstrap Sampling Rate on Random Forest Performance in Regression Tasks},
author = {Michał Iwaniuk and Mateusz Jarosz and Bartłomiej Borycki and Bartosz Jezierski and Jan Cwalina and Stanisław Kaźmierczak and Jacek Mańdziuk},
journal= {arXiv preprint arXiv:2511.13952},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication