HyP-ABC:一种基于进化优化的新型自动化超参数调优算法
机器学习
2021-09-14 v1 神经与进化计算
摘要
机器学习技术在广泛应用领域中堪称有前景的决策与分析工具。不同ML算法具有各类超参数。为使ML模型适配特定应用,需对大量超参数进行调优。超参数调优直接影响性能(准确率与运行时间)。然而,对于大规模搜索空间,高效探索海量超参数组合在计算上具有挑战性。现有自动化超参数调优技术存在时间复杂度高的问题。本文提出HyP-ABC,一种采用改进人工蜂群方法的自动混合超参数优化算法,用于衡量随机森林、极端梯度提升与支持向量机三种ML算法的分类准确率。相较于前沿技术,HyP-ABC更高效且待调参数数量有限,因而值得用于现实超参数优化问题。我们进一步将所提HyP-ABC与前沿技术比较;为保障方法鲁棒性,算法取广泛可行超参数值,并使用真实教育数据集进行测试。
引用
@article{arxiv.2109.05319,
title = {HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization},
author = {Leila Zahedi and Farid Ghareh Mohammadi and M. Hadi Amini},
journal= {arXiv preprint arXiv:2109.05319},
year = {2021}
}
备注
6 figures, 2 tables