利用无导数方法逃离局部极小：一项数值研究
最优化与控制
2023-06-21 v2
摘要
我们将一种先进的局部无导数求解器 Py-BOBYQA 应用于全局优化问题，并提出了在此背景下有益的算法改进。我们的数值发现在一个常用的但小规模全局优化问题测试集及其含噪变体，以及机器学习测试集 MNIST 的超参数调优上进行了说明。由于 Py-BOBYQA 是一种基于模型的信赖域方法，我们主要（但非 exclusively）与那些（全局）模型重要的其他全局优化方法进行比较，例如贝叶斯优化和响应面方法；我们也考虑了代表性的先进确定性与随机代码，如 DIRECT 和 CMA-ES。作为一种逃离局部极小的启发式方法，我们在数值上发现 Py-BOBYQA 在所有精度/预算情形下，在光滑与含噪设置中均与全局优化求解器具有竞争力。特别地，Py-BOBYQA 的变体在高精度情形下对光滑与乘性噪声问题表现最佳。作为副产品，可就我们所测试全局求解器在默认设置下的相对性能得出一些初步结论。
引用
@article{arxiv.1812.11343,
title = {Escaping local minima with derivative-free methods: a numerical investigation},
author = {Coralia Cartis and Lindon Roberts and Oliver Sheridan-Methven},
journal= {arXiv preprint arXiv:1812.11343},
year = {2023}
}