关于通过随机嵌入进行全局优化时低维域的选择
最优化与控制
2018-10-23 v3 统计方法学
机器学习
摘要
在低效维度假设下，优化问题中考虑众多变量的挑战可以被克服。此时，解的搜索可简化为将低维空间随机嵌入到原始空间中，从而得到更易处理的优化问题。具体而言，在耗时黑盒函数且评估预算严重受限的情况下，带随机嵌入的全局优化似乎是随机搜索的合理替代方案。然而，在本变量存在盒式约束时，定义低维域上的合适边界显得复杂。事实上，即便在对函数施加限制性假设下，小的搜索域也无法保证找到解，而较大的域可能急剧减慢收敛。此处我们基于对随机嵌入性质的详细研究来解决低维域选择问题，阐明上述困难。特别地，我们描述了与嵌入搜索空间相对应的极小低维集。此外，我们展示了一种替代的等价嵌入过程，同时给出了低维极小集更简单的定义和实践中更好的性质。最后，所提改进在贝叶斯优化上的性能和鲁棒性增益通过数值算例加以说明。
引用
@article{arxiv.1704.05318,
title = {On the choice of the low-dimensional domain for global optimization via random embeddings},
author = {Mickaël Binois and David Ginsbourger and Olivier Roustant},
journal= {arXiv preprint arXiv:1704.05318},
year = {2018}
}