从机器学习模型超参数优化中导出的一组质量多样性优化问题
机器学习
2022-08-02 v2
摘要
质量多样性优化(Quality Diversity Optimization)的目标是为给定问题生成一组多样且高性能的解。典型的基准问题例如寻找机器人手臂配置库或博弈策略集合。本文提出一组质量多样性优化问题，用于解决机器学习模型的超参数优化——这是质量多样性优化迄今未被充分探索的应用。我们的基准问题涉及新颖的特征函数，如模型的可解释性或资源使用量。为实现快速高效的基准测试，我们基于YAHPO Gym构建，后者是近期提出的开源超参数优化基准套件，利用高性能代理模型并返回这些代理模型的预测值，而非评估真实的昂贵黑盒函数。我们给出了初步实验研究的结果，在不同质量多样性优化器于本基准问题上的表现进行了比较。此外，我们讨论了质量多样性优化在超参数优化背景下的未来方向与挑战。
引用
@article{arxiv.2204.14061,
title = {A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models},
author = {Lennart Schneider and Florian Pfisterer and Janek Thomas and Bernd Bischl},
journal= {arXiv preprint arXiv:2204.14061},
year = {2022}
}
备注
Accepted at the GECCO'22 Workshop on Quality Diversity Algorithm Benchmarks. 7 pages, 6 tables, 7 figures