在贝叶斯优化中学习任务相关上下文变量
机器学习
2024-05-27 v4 机器学习
摘要
上下文贝叶斯优化（CBO）在针对设计变量优化黑盒函数的同时，还能整合关于环境（如实验条件）的上下文信息。然而，上下文变量的相关性未必事先已知。此外，上下文变量有时本身也可通过额外代价进行优化，这一设定被当前 CBO 算法所忽视。对代价敏感的 CBO 会简单地根据代价将可优化的上下文变量作为设计变量的一部分。相反，我们基于上下文变量的相关性与将其优化（相较于交由环境决定）所带来的额外代价之间的权衡，自适应地选择纳入优化中的上下文变量子集。我们通过后验代理模型的敏感性分析来学习上下文变量的相关性，同时利用近期关于贝叶斯优化早停的进展来最小化优化代价。我们在合成与真实世界实验上，结合大量消融研究，将提出的敏感性分析驱动上下文贝叶斯优化（SADCBO）方法与替代方案进行经验评估，并展示了跨实例的一致提升。
引用
@article{arxiv.2305.14120,
title = {Learning Relevant Contextual Variables Within Bayesian Optimization},
author = {Julien Martinelli and Ayush Bharti and Armi Tiihonen and S. T. John and Louis Filstroff and Sabina J. Sloman and Patrick Rinke and Samuel Kaski},
journal= {arXiv preprint arXiv:2305.14120},
year = {2024}
}