用于高效优化的资源感知多保真度主动学习
机器学习
2020-07-10 v1 数据分析、统计与概率
机器学习
摘要
传统的黑盒优化方法需要大量的评估,这对于许多依赖精确表示和昂贵模型进行评估的工程应用来说,既耗时、不切实际,且往往不可行。贝叶斯优化(BO)方法通过沿着搜索路径逐步(主动)学习目标函数的代理模型来寻找全局最优解。贝叶斯优化可以通过多保真度方法加速,该方法利用目标函数的多个黑盒近似,这些近似在计算上评估成本更低,但仍能为搜索任务提供相关信息。并行和分布式计算架构的可用性提供了进一步的计算优势,其最佳使用是主动学习背景下的一个开放机会。本文引入了资源感知主动学习(RAAL)策略,这是一种加速黑盒函数优化的多保真度贝叶斯方案。在每个优化步骤中,RAAL 过程计算最佳样本位置集及相关的保真度源,以最大化在目标函数的并行/分布式评估期间获取的信息增益,同时考虑有限的计算预算。该方案在各种基准问题上进行了演示,并讨论了单保真度和多保真度设置下的结果。我们特别观察到,RAAL 策略在每次迭代中最佳地播种多个点,从而极大地加速了优化任务。
引用
@article{arxiv.2007.04674,
title = {Resource Aware Multifidelity Active Learning for Efficient Optimization},
author = {Francesco Grassi and Giorgio Manganini and Michele Garraffa and Laura Mainini},
journal= {arXiv preprint arXiv:2007.04674},
year = {2020}
}
备注
21 pages