FunBO: 使用FunSearch发现贝叶斯优化的采集函数
机器学习
2024-07-02 v2 机器学习
摘要
贝叶斯优化算法的样本效率取决于精心设计的采集函数，这些函数指导函数评估的顺序收集。表现最佳的采集函数在不同优化问题中可能有显著差异，通常需要针对特定问题做出专门选择。本文解决了设计新颖采集函数的挑战，这些函数在各种实验设置中表现良好。基于FunSearch（最近一项使用大型语言模型在数学科学中进行发现的工作），我们提出FunBO，一种基于LLM的方法，可用于学习用计算机代码编写的新采集函数，通过利用对一组目标函数的有限评估访问。我们提供了所有发现的采集函数的解析表达式，并在各种全局优化基准和超参数优化任务上对其进行评估。我们展示了FunBO如何识别在训练函数分布内和外都能很好泛化的采集函数，从而优于已建立的通用采集函数，并在针对特定函数类型定制并通过迁移学习算法学习的采集函数上取得有竞争力的性能。
引用
@article{arxiv.2406.04824,
title = {FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch},
author = {Virginia Aglietti and Ira Ktena and Jessica Schrouff and Eleni Sgouritsa and Francisco J. R. Ruiz and Alan Malek and Alexis Bellot and Silvia Chiappa},
journal= {arXiv preprint arXiv:2406.04824},
year = {2024}
}