采用在线白化处理的SACOBRA用于求解高条件数优化问题
机器学习
2019-04-18 v1 机器学习
最优化与控制
摘要
现实世界的优化问题往往在成本和时间上具有较高的目标函数评价代价。人们希望以极少的函数评价次数找到近最优解。代理辅助优化器倾向于通过用基于少量已评价点构建的高效数学模型替代真实函数,来减少所需的函数评价次数。高条件数问题对许多代理辅助优化器(包括SACOBRA)而言都是一种挑战。为解决此类问题,我们提出了一种在黑盒优化范式下运行的新型在线白化处理。我们在一组高条件数函数上表明,在线白化解决了SACOBRA的早期停滞问题,并将优化误差相比原始SACOBRA降低了10到1e12倍,尽管它带来了许多额外的函数评价。协方差矩阵自适应进化策略(CMA-ES)在非常高的函数评价次数下甚至具有更低的误差,而SACOBRA在昂贵设定(少于1e03次函数评价)下表现更好。如果我们将所有可并行化的函数评价(CMA-ES中的种群评价、我们方法中的在线白化)计为一次迭代,那么即便从长远来看,两种算法也具有可比的实力。这对于维度D <= 20的问题成立。
引用
@article{arxiv.1904.08397,
title = {SACOBRA with Online Whitening for Solving Optimization Problems with High Conditioning},
author = {Samineh Bagheri and Wolfgang Konen and Thomas Bäck},
journal= {arXiv preprint arXiv:1904.08397},
year = {2019}
}
备注
20 pages, 10 figures