用于集成学习的模型无关组合方法
机器学习
2020-06-17 v1 机器学习
摘要
模型集成已知可提升单一模型性能。我们提出一种称为 MAC 的新型集成技术，其旨在寻找组合模型的最优函数，同时对组合中所涉及的子模型数量保持不变性。对子模型数量无关使得在部署后仍可向组合中添加和替换子模型，这与当前许多集成方法（如 stacking、boosting、混合专家与超级学习器）不同，后者在训练时锁定用于组合的模型，因此每当引入新模型到集成中时都需要重新训练。我们表明，在 Kaggle RSNA 颅内出血检测挑战赛上，MAC 优于经典平均方法，在固定子模型数量时展现出与通过 XGBoost 进行 boosting 相竞争的结果，并且在向组合中添加子模型而无需重训练时优于它。
引用
@article{arxiv.2006.09025,
title = {Model Agnostic Combination for Ensemble Learning},
author = {Ohad Silbert and Yitzhak Peleg and Evi Kopelowitz},
journal= {arXiv preprint arXiv:2006.09025},
year = {2020}
}