提升基于模型的免导数优化求解器的灵活性与鲁棒性
最优化与控制
2018-05-24 v2
摘要
我们提出DFO-LS,一个用于非线性最小二乘(LS)问题(含可选边界约束)的免导数优化(DFO)软件包。受高斯-牛顿法启发,DFO-LS为残差构建简化线性回归模型。DFO-LS允许对昂贵问题进行灵活初始化,由此它可从少至两次目标函数评估即开始取得进展。数值结果表明,在某些中规模问题上,DFO-LS所需目标函数评估次数少于一次梯度评估所需,即可取得合理进展。DFO-LS改进了对噪声的鲁棒性,允许样本平均、基于回归的模型构建以及多重重启策略与自动检测机制相结合。我们广泛的数值实验表明,在检测到停滞时重启求解器是一种廉价且有效的实现鲁棒性的机制,其性能优于采样与回归技术。我们还提出我们的软件包Py-BOBYQA,即BOBYQA(Powell, 2009)的Python实现,其同样实现了抗噪声策略。我们的数值实验表明,对于含噪声问题,Py-BOBYQA与现有通用DFO求解器相当或更优。在比较中,我们引入了一种针对含噪声函数数据剖面的新的自适应精度度量,在真实目标改进与含噪声目标改进度量之间取得平衡。
引用
@article{arxiv.1804.00154,
title = {Improving the Flexibility and Robustness of Model-Based Derivative-Free Optimization Solvers},
author = {Coralia Cartis and Jan Fiala and Benjamin Marteau and Lindon Roberts},
journal= {arXiv preprint arXiv:1804.00154},
year = {2018}
}
备注
Minor edits to wording