超参数调优对景观感知性能回归与算法选择的影响
神经与进化计算
2021-04-20 v1
摘要
基于探索性景观分析(ELA)的自动算法选择与配置方法在进化计算中正变得非常流行。然而,尽管应用数量显著增长,底层的机器学习模型往往以临时方式选取。我们在本工作中表明,三种经典回归方法能够为基于ELA的算法选择取得有意义的结果。对于这三种模型——随机森林、决策树与装袋决策树——回归模型的质量深受所选超参数的影响。这也对构建于这些回归之上的算法选择器的质量产生显著影响。通过比较总共30种不同模型(每种结合2种互补回归策略),我们推导出回归模型调优的准则,并为在景观感知算法选择中更系统地使用经典机器学习模型提供一般性建议。我们指出,机器学习模型的选择值得谨慎对待并进一步研究。
引用
@article{arxiv.2104.09272,
title = {The Impact of Hyper-Parameter Tuning for Landscape-Aware Performance Regression and Algorithm Selection},
author = {Anja Jankovic and Gorjan Popovski and Tome Eftimov and Carola Doerr},
journal= {arXiv preprint arXiv:2104.09272},
year = {2021}
}
备注
To appear in the Proceedings of Genetic and Evolutionary Computation Conference (GECCO 2021), ACM