用 XGBoost 学习调参 XGBoost

Johanna Sommer; Dimitrios Sarigiannis; Thomas Parnell

用 XGBoost 学习调参 XGBoost

机器学习 2019-11-22 v4 机器学习

作者: Johanna Sommer , Dimitrios Sarigiannis , Thomas Parnell

摘要

在这篇短文中，我们研究元学习技术是否可用于借助逐次减半（SH）更有效地调整机器学习模型的超参数。我们提出一种 SH 算法的新变体（MeSH），其利用元回归器决定每轮应淘汰哪些候选配置。我们将 MeSH 应用于梯度提升决策树模型的超参数调优问题。通过使用来自 95 个数据集的已有调优任务训练并调优我们的元回归器，我们证明 MeSH 常能找到优于 SH 与随机搜索的解。

关键词

元学习超参数调优逐次减半 XGBoost 梯度提升树元回归器随机搜索

引用

@article{arxiv.1909.07218,
  title  = {Learning to Tune XGBoost with XGBoost},
  author = {Johanna Sommer and Dimitrios Sarigiannis and Thomas Parnell},
  journal= {arXiv preprint arXiv:1909.07218},
  year   = {2019}
}

备注

Accepted for presentation at The 3rd Workshop on Meta-Learning (Meta-Learn 2019), Vancouver, Canada

用 XGBoost 学习调参 XGBoost

摘要

关键词

引用

备注

相关论文