初始设计策略及其对序列模型优化算法的影响
神经与进化计算
2020-04-01 v1
摘要
序列模型优化算法（SMBO）是一种用于求解需要计算昂贵或其他昂贵函数评估问题的算法。SMBO 的关键设计原则是用代理模型替代真实目标函数，以提出下一个待评估的点。SMBO 算法本质上是模块化的，给用户留下了许多重要的设计选择。大量的研究工作致力于理解哪种设置在哪种类型的问题上表现最佳。然而，大多数工作集中在模型的选择、采集函数的选择以及用于优化后者的策略上。相比之下，初始采样策略的选择受到的关注要少得多。毫不意外，文献中可以找到截然不同的建议。在这项工作中，我们分析了初始样本的大小和分布如何影响 EGO（一种著名的 SMBO 方法）算法的整体质量。总体而言，使用 Halton 采样的较小初始预算似乎是更可取的，但我们也观察到性能图景相当无结构。我们进一步识别了 EGO 表现不如随机采样的几种情况。这两个观察结果均表明，自适应的 SMBO 设计可能是有益的，这使得 SMBO 成为自动算法设计的一个有趣测试平台。
引用
@article{arxiv.2003.13826,
title = {Initial Design Strategies and their Effects on Sequential Model-Based Optimization},
author = {Jakob Bossek and Carola Doerr and Pascal Kerschke},
journal= {arXiv preprint arXiv:2003.13826},
year = {2020}
}
备注
To appear in Proc. of ACM Genetic and Evolutionary Computation Conference (GECCO'20)