装袋即剪枝
机器学习
2024-10-01 v5 机器学习
计量经济学
摘要
构建一个糟糕的随机森林（RF）是出了名的困难。同时，RF 在样本内公然过拟合却似乎对样本外没有任何影响。诸如经典偏差-方差权衡或双下降等标准论点无法解释这一悖论。我提出一种新的解释：RF 所实现的 bootstrap 聚合与模型扰动自动剪枝了一个潜在的“真实”树。更一般地，贪婪优化学习器的随机集成隐式地执行了样本外的最优早停。因此无需调整停止点。根据构造，Boosting 与 MARS 的新变体也适用于自动调参。我通过模拟与真实数据实证展示了该性质，报告这些全新的完全过拟合集成与其调参对应物的表现相似——或更好。
关键词
引用
@article{arxiv.2008.07063,
title = {To Bag is to Prune},
author = {Philippe Goulet Coulombe},
journal= {arXiv preprint arXiv:2008.07063},
year = {2024}
}