关于差分进化用于超参数调优的性能
机器学习
2019-04-16 v1 神经与进化计算
机器学习
摘要
自动化超参数调优旨在促进机器学习对非专家的应用。文献中，不同的优化方法被用于此目的。本文研究了差分进化用于分类任务中监督学习算法超参数调优的性能。该实证研究涉及一系列具有不同特征的机器学习算法与数据集，以将差分进化的性能与序列模型算法配置 (SMAC)——一种参考贝叶斯优化方法——进行比较。结果表明，在调优给定机器学习算法时，差分进化对大多数数据集优于 SMAC，尤其在以先报告者打破平局的方式下。仅在最紧的计算预算下 SMAC 表现更好。在小型数据集上，差分进化以 19%（平局打破后 37%）优于 SMAC。在第二项跨文献中一组代表性数据集的实验中，差分进化比 SMAC 多赢得 15%（平局打破后 23%）的胜利。
引用
@article{arxiv.1904.06960,
title = {On the Performance of Differential Evolution for Hyperparameter Tuning},
author = {Mischa Schmidt and Shahd Safarani and Julia Gastinger and Tobias Jacobs and Sebastien Nicolas and Anett Schülke},
journal= {arXiv preprint arXiv:1904.06960},
year = {2019}
}
备注
2019 International Joint Conference on Neural Networks (IJCNN)