通过基于模型的代理高效基准测试算法配置过程
人工智能
2017-03-31 v1 机器学习
摘要
算法（超）参数的优化对于在从深度神经网络到困难组合问题求解器等广泛领域实现峰值性能至关重要。由此产生的算法配置 (AC) 问题引起了机器学习社区的广泛关注。然而，对新 AC 过程的适当评估受到两个关键障碍的阻碍。首先，AC 基准测试难以设置。其次，更重要的是，它们在计算上非常昂贵：AC 过程的一次运行涉及目标算法的许多昂贵运行，而该目标算法的性能需要在给定的 AC 基准场景中优化。一种常见的变通方法是优化易于评估的人工基准函数（例如 Branin）而不是实际算法；然而，这些函数具有与现实 AC 问题不同的属性。在此，我们提出了一种替代的基准测试方法，其评估成本同样低廉，但更接近原始 AC 问题：用由 AC 基准构建的代理基准替换昂贵的基准。这些代理基准使用回归模型近似对应于真实目标算法性能的响应曲面，且原始基准和代理基准共享相同的（超）参数空间。在我们的实验中，我们利用现有 AC 过程运行的数据，构建并评估了用于超参数优化以及涉及困难组合问题求解器性能优化的 AC 问题的代理基准。我们表明，我们的代理基准捕捉到了衍生它们的 AC 场景的总体重要特征，如高性能和低风险区域，同时更易于使用且评估成本低几个数量级。
引用
@article{arxiv.1703.10342,
title = {Efficient Benchmarking of Algorithm Configuration Procedures via Model-Based Surrogates},
author = {Katharina Eggensperger and Marius Lindauer and Holger H. Hoos and Frank Hutter and Kevin Leyton-Brown},
journal= {arXiv preprint arXiv:1703.10342},
year = {2017}
}