重新审视贪心模型搜索中的随机化
统计力学
2025-06-23 v1 应用物理
摘要
特征抽样是随机森林等集成方法的核心组成部分。虽然最近的理论表明，这种随机化仅以类似岭正则化的方式起作用作为方差缩减机制，但这些结果主要依赖于通过普通最小二乘法优化的基学习器。我们研究了特征抽样对贪心前向选择的影响，这种模型更能捕捉决策树的自适应性。假设正交设计，我们证明了在特征抽样下进行的集成既可减少偏差也可减少方差，与凸基学习器的纯方差缩减形成鲜明对比。更准确地说，我们表明训练误差和自由度相对于抽样率可呈非单调变化，打破了与诺克套克或岭回归等标准收缩方法的类比。此外，我们对估计器的确切渐近行为进行了特征描述，表明它基于系数的排序自适应地对OLS系数进行加权，其权重可被良好地近似为 logistic 函数。这些结果阐明了算法随机化与贪心优化交织作用的独特角色。
引用
@article{arxiv.2506.15642,
title = {Flips Reveal the Universal Impact of Memory on Random Explorations},
author = {Julien Brémont and Léo Régnier and Alex Barbier--Chebbah and Olivier Bénichou and Raphaël Voituriez},
journal= {arXiv preprint arXiv:2506.15642},
year = {2025}
}