不确定性下的高维黑盒优化
最优化与控制
2021-09-10 v5 统计方法学
机器学习
摘要
在有限数据下优化昂贵的黑盒系统是一个极具挑战性的问题。作为解决，我们提出一种新的代理优化方法，弥补了先前研究中的两个空白——不重要的输入变量以及对黑盒输出相关不确定性处理效率低下。我们首先使用基于分区的多元自适应回归样条方法 Tree Knot MARS（TK-MARS）设计了一种新的灵活非插值简约代理模型。所提模型专为优化而设计，通过捕捉函数结构、在近最优位置弯曲，并能够筛选不重要的输入变量。此外，我们开发了一种称为 Smart-Replication（智能复制）的新复制方法，以克服与黑盒输出相关的不确定性。Smart-Replication 方法识别有前景的输入点进行复制，并避免对其他数据点进行不必要的评估。Smart-Replication 与代理的选择无关，并能自适应未知噪声水平。最后，为展示我们所提方法的有效性，我们考虑了代理优化文献中不同的复杂全局优化测试函数。结果表明 TK-MARS 在代理优化算法中优于原始 MARS，并成功检测出重要变量。结果还显示，尽管非插值代理能缓解不确定性，复制对于优化高度复杂的黑盒函数仍有益处。通过 Smart-Replication 找到的最终最优解的鲁棒性与质量，在低噪声环境中可与不使用复制的情况竞争，在高噪声环境中可与使用固定复制次数者竞争。
引用
@article{arxiv.1911.02457,
title = {High-dimensional Black-box Optimization Under Uncertainty},
author = {Hadis Anahideh and Jay Rosenberger and Victoria Chen},
journal= {arXiv preprint arXiv:1911.02457},
year = {2021}
}