PS-AAS：面向黑盒优化中自动算法选择的组合选择
机器学习
2023-10-18 v1 人工智能
神经与进化计算
摘要
自动算法选择（AAS）的性能强烈依赖于待选算法组合（portfolio）。组合的选择是一项非平凡任务，需要在大型组合更高灵活性与 AAS 任务复杂度增加之间权衡。在实践中，可能为组合挑选算法最常见的方式是贪心地选择在某些关注参考任务中表现良好的算法。我们在本工作中着手研究替代性的、数据驱动的组合选择技术。我们提出的方法创建算法行为元表示（meta-representation），基于其元表示相似性从一组算法构建图，并应用图算法选出最终兼具多样性、代表性且无冗余的算法组合。我们评估了两种不同的元表示技术（SHAP 与 performance2vec），用于从总计 324 种不同变体的 CMA-ES 中为优化维度 5 与 30、具有不同截断预算的 BBOB 单目标问题选择互补组合。我们测试了两类组合：一类关联整体算法行为，另一类为“个性化”组合（关联各问题分别的算法行为）。我们观察到，基于 performance2vec 表示构建的方法偏好小规模组合，且在 AAS 任务中相对于所选组合中的虚拟最佳求解器误差可忽略，而基于 SHAP 表示构建的组合以 AAS 性能下降为代价换取更高灵活性。在大多数考量场景中，个性化组合取得与经典贪心方法相当或略优的性能，且在所有场景中均优于完整组合。
引用
@article{arxiv.2310.10685,
title = {PS-AAS: Portfolio Selection for Automated Algorithm Selection in Black-Box Optimization},
author = {Ana Kostovska and Gjorgjina Cenikj and Diederick Vermetten and Anja Jankovic and Ana Nikolikj and Urban Skvorc and Peter Korosec and Carola Doerr and Tome Eftimov},
journal= {arXiv preprint arXiv:2310.10685},
year = {2023}
}
备注
Proc. of International Conference on Automated Machine Learning (AutoML 2023)