DivBO：面向集成学习的多样性感知 CASH
机器学习
2023-02-08 v1
摘要
组合算法选择与超参数优化（CASH）问题是自动化机器学习（AutoML）中的基本问题之一。受集成学习成功的启发，近期的 AutoML 系统构建事后集成来输出最终预测，而不是使用最佳单一学习器。然而，尽管大多数 CASH 方法侧重于搜索具有最佳性能的单一学习器，它们忽略了基学习器之间的多样性（即，它们可能会建议与先前评估的配置相似的配置），而这在构建集成时也是一个至关重要的考量。为了解决这个问题并进一步提升集成性能，我们提出了 DivBO，一个将显式多样性搜索注入 CASH 问题的多样性感知框架。在该框架中，我们提出使用多样性代理模型来预测两个未见配置之间的成对多样性。此外，我们引入了一个临时池和一个加权采集函数，以基于贝叶斯优化来指导性能和多样性的搜索。在 15 个公共数据集上的实验结果表明，DivBO 在 10 种对比方法（包括近期 AutoML 系统中的事后设计以及 CASH 问题上集成学习的 SOTA 基线）中，取得了验证误差和测试误差上的最佳平均排名（1.82 和 1.73）。
引用
@article{arxiv.2302.03255,
title = {DivBO: Diversity-aware CASH for Ensemble Learning},
author = {Yu Shen and Yupeng Lu and Yang Li and Yaofeng Tu and Wentao Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2302.03255},
year = {2023}
}
备注
with appendix, accepted by NeurIPS 2022