自错误调整： ensemble 学习中平衡个体性能与多样性的理论与实践
机器学习
2025-08-08 v1
摘要
ensemble 学习通过聚合多个基学习器的预测来提升性能。核心挑战在于平衡个体学习器的准确性与多样性。传统方法如 Bagging 和 Boosting 通过随机性促进多样性，但对准确性-多样性权衡缺乏精确控制。负相关学习 (NCL) 引入惩罚来管理此权衡，但受制于松散的理论边界和有限的调整范围。为克服这些限制，我们提出了一种新框架，称为自错误调整 (SEA)，该框架将 ensemble 错误分解为两个 distinct 组成部分：代表每个基学习器自身错误的个体性能项，以及反映学习器之间相互作用的多样性项。这种分解允许我们引入可调参数到损失函数中，对每个组成部分的贡献进行精确控制，从而实现对 ensemble 性能的更细致调节。与 NCL 及其变体相比，SEA 提供了更广泛的有效调整范围，并且在多样性方面实现了更一致的变化。此外，我们为可调 ensemble 方法建立了更紧的理论边界，并通过实验进行了验证。在几个公开的回归和分类数据集上进行的实验结果表明，SEA 在所有任务中均一致优于基线方法。消融研究确认，SEA 提供了更灵活的调整能力，在微调策略方面表现出色。
引用
@article{arxiv.2508.04948,
title = {Self-Error Adjustment: Theory and Practice of Balancing Individual Performance and Diversity in Ensemble Learning},
author = {Rui Zou},
journal= {arXiv preprint arXiv:2508.04948},
year = {2025}
}