面向成本感知的贝叶斯优化停止策略
机器学习
2025-12-29 v4
摘要
在自动机器学习、科学发现等贝叶斯优化应用场景中,决定以成本感知的方式何时停止对高昂黑盒函数的评估,是一个重要但鲜有人关注的实践问题。成本调整后简单后悔( cost-adjusted simple regret)是衡量该目标的自然性能指标,它捕捉了解答质量与累计评估成本之间的权衡。虽然已提出若干启发式或自适应停止规则,但它们缺乏确保在避免高额函数评估成本的情况下停止的保证。我们提出一种原则化的贝叶斯优化成本感知停止规则,该规则无需启发式调参即可适应不同评估成本。我们的规则在理论上与最先进的成本感知获取函数——即 Pandora's Box Gittins Index (PBGI) 和 log expected improvement per cost (LogEIPC)——之间建立了联系。我们证明了当采用任一获取函数时,本停止规则所产生的预期成本调整后简单后悔都有上界保证。在合成任务和实际任务中,包括超参数优化和神经网络架构大小搜索,将我们的停止规则与 PBGI 或 LogEIPC 配合使用时,通常在成本调整后简单后悔方面匹配或优于其他获取函数-停止规则组合。
引用
@article{arxiv.2507.12453,
title = {Cost-aware Stopping for Bayesian Optimization},
author = {Qian Xie and Linda Cai and Alexander Terenin and Peter I. Frazier and Ziv Scully},
journal= {arXiv preprint arXiv:2507.12453},
year = {2025}
}