EXPObench：在昂贵黑盒函数上基准测试基于代理的优化算法

贝叶斯优化等代理算法专为具有昂贵目标的黑盒优化问题而设计，例如超参数调优或基于仿真的优化。在文献中，这些算法通常使用成熟但不具昂贵目标的合成基准进行评估，且仅在一两个差异极大的真实应用上测试。在针对真实、昂贵、黑盒目标函数对代理算法进行基准测试方面，明显缺乏标准化。这使得很难就算法贡献的效果得出结论，也难以就何时使用何种方法给出实质性建议。一个新的基准库 EXPObench 为此类标准化提供了初步步骤。该库被用于对不同真实应用中的四个昂贵优化问题上六种不同代理算法进行广泛比较。这带来了关于探索的相对重要性、目标评估时间以及所用模型的新见解。我们还给出了在何种情况下使用何种代理算法的经验法则。另一贡献是我们公开了算法与基准问题实例，有助于对代理算法进行更统一的分析。最重要的是，我们包含了六种算法在所有评估问题实例上的性能。这产生了一个独特的新数据集，由于比较所需的昂贵评估次数显著减少，降低了研究新方法的门槛。