2025 年的直接搜索法：理论保证与算法范式

在不使用导数的情况下优化函数是一个具有挑战性的范式，它排除了使用非线性优化中的经典算法的可能性，因此除了使用启发式方法外，似乎难以处理。尽管如此，无导数优化领域已成功开发出不依赖导数却具备收敛保证的算法。其中一类称为直接搜索法的方法，因其实现简单而特别受欢迎，尽管其理论基础并不总是容易理解。在本文中，我们从理论视角综述了当代直接搜索算法，旨在突出这些方法的关键理论特征。我们提供了主要类别直接搜索法的基本介绍，包括在早期综述中较少受到关注的线搜索技术。我们还特别强调了概率直接搜索技术及其在噪声问题中的应用，这一主题近年来经历了显著的算法发展。最后，通过回顾利用直接搜索算法求解约束优化和多目标优化的主要理论进展，我们对现有综述进行了补充。