掌握贝叶斯优化中的探索-利用权衡
机器学习
2023-05-16 v1 人工智能
最优化与控制
摘要
基于高斯过程的贝叶斯优化是一种众所周知的样本高效序贯策略，用于全局优化黑盒、昂贵且多极值函数。高斯过程的作用是根据序贯收集的观测为未知函数提供概率近似，而采集函数驱动下一待评估解的选择，依据当前高斯过程模型在探索与利用之间取得平衡。尽管科学界在定义有效的探索-利用机制上付出了巨大努力，我们仍远未拥有完美的采集函数。本文融合算法与人类搜索策略中最相关的成果与洞见，提出一种新颖的采集函数，自适应地掌握探索性与利用性选择之间的权衡。我们在若干测试函数上并将所提采集函数与不同的前沿采集函数进行比较，后者基于预设或随机的探索与利用调度。我们针对两个（对立的）目标进行 Pareto 分析：收敛至最优解与探索能力。结果实证证明所提采集函数几乎总是 Pareto 最优的，并且也是两目标间最平衡的权衡。
引用
@article{arxiv.2305.08624,
title = {Mastering the exploration-exploitation trade-off in Bayesian Optimization},
author = {Antonio Candelieri},
journal= {arXiv preprint arXiv:2305.08624},
year = {2023}
}