划分、专门化与路由：一种高效集成学习的新方法
机器学习
2025-06-27 v1
摘要
集成学习已被证明能有效提升预测性能，但传统方法如 bagging、boosting 和动态集成选择（DES）存在计算成本高和对异构数据分布适应性有限的问题。为了解决这些局限性，我们提出了 Hellsemble，这是一种用于二分类的新型且可解释的集成框架，它在训练和推理期间都利用了数据集的复杂性。Hellsemble 通过迭代地将简单模型误分类的实例传递给后续模型，将数据集逐步划分为难度圈，从而形成一个由专门化基学习器组成的委员会。每个模型在难度递增的子集上进行训练，同时一个单独的路由模型学习根据推断的难度将新实例分配给最合适的基模型。Hellsemble 在保持计算效率和可解释性的同时实现了很强的分类准确率。在 OpenML-CC18 和 Tabzilla 基准上的实验结果表明，Hellsemble 通常优于经典的集成方法。我们的发现表明，利用实例级难度为构建高效且鲁棒的集成系统提供了一个有前景的方向。
引用
@article{arxiv.2506.20814,
title = {Divide, Specialize, and Route: A New Approach to Efficient Ensemble Learning},
author = {Jakub Piwko and Jędrzej Ruciński and Dawid Płudowski and Antoni Zajko and Patryzja Żak and Mateusz Zacharecki and Anna Kozak and Katarzyna Woźnica},
journal= {arXiv preprint arXiv:2506.20814},
year = {2025}
}
备注
14 pages, 6 figures