无导数优化的全-低评估方法
最优化与控制
2022-10-31 v2
摘要
我们提出了一类新的严格无导数优化方法，旨在为各类函数（从光滑到非光滑，以及在不同噪声机制下）提供高效且鲁棒的数值性能。为此，我们开发了全-低评估（Full-Low Evaluation）方法，围绕两类主要迭代组织。第一类迭代在函数评估上代价高昂，但在光滑且无噪声情形下表现良好。在理论上，我们考虑基于近似梯度的线搜索，回溯直至满足充分下降条件。在实践中，梯度通过有限差分近似，方向由拟牛顿步（BFGS）计算。第二类迭代在函数评估上代价低廉，但在存在噪声或非光滑时更为鲁棒。在理论上，我们考虑直接搜索，在实践中我们使用带一个随机方向及其负方向的概率直接搜索。基于线搜索与直接搜索步长的值，开发了从全评估到低评估迭代的切换条件。若采取足够的全评估步，我们导出梯度下降类型的复杂度结果。在全评估失效时，低评估迭代成为收敛的驱动，产生非光滑收敛。全-低评估方法在实践中被证明对具有不同光滑度与噪声水平的问题高效且鲁棒。
引用
@article{arxiv.2107.11908,
title = {Full-low evaluation methods for derivative-free optimization},
author = {Albert S. Berahas and Oumaima Sohab and Luis Nunes Vicente},
journal= {arXiv preprint arXiv:2107.11908},
year = {2022}
}