基于局部生成代理模型的黑盒优化
机器学习
2020-09-30 v2 高能物理 - 实验
数据分析、统计与概率
机器学习
摘要
我们提出了一种利用可微局部代理模型对黑盒模拟器进行基于梯度优化的新方法。在物理与工程等领域，许多过程由具有难处理似然性的不可微模拟器建模。这些前向模型的优化尤其具有挑战性，特别是当模拟器为随机时。针对此类情况，我们引入深度生成模型，在参数空间的局部邻域内迭代逼近模拟器。我们证明这些局部代理可用于近似模拟器的梯度，从而实现对模拟器参数的基于梯度的优化。在模拟器对参数空间的依赖受限于低维子流形的情况下，我们观察到该方法比基线方法（包括贝叶斯优化、数值优化以及使用得分函数梯度估计量的方法）更快地达到极小值。
引用
@article{arxiv.2002.04632,
title = {Black-Box Optimization with Local Generative Surrogates},
author = {Sergey Shirobokov and Vladislav Belavin and Michael Kagan and Andrey Ustyuzhanin and Atılım Güneş Baydin},
journal= {arXiv preprint arXiv:2002.04632},
year = {2020}
}