非短视贝叶斯优化为何大有可为及我们应前瞻多远？一项基于Rollout的研究
机器学习
2022-07-26 v3 最优化与控制
机器学习
摘要
前瞻（亦称非短视）贝叶斯优化（BO）旨在通过求解一个动态规划（DP）来寻找最优采样策略，该DP在滚动时域上最大化长期奖励。尽管前景可期，前瞻BO因其对可能误设定模型的依赖性增强而面临误差传播的风险。本工作中我们聚焦于用于求解难解DP的rollout近似。我们首先证明了rollout在解决前瞻BO问题中的改进性质，并给出了所用启发式方法为rollout改进的充分条件。随后我们提供了理论与实用准则以逐阶段决定滚动时域长度。该准则建立在对误设定模型负面效应的量化之上。为阐明我们的思想，我们给出了单信息源与多信息源BO的案例分析。实证结果显示了我们的方法相对于若干短视与非短视BO算法的优越特性。
引用
@article{arxiv.1911.01004,
title = {Why Non-myopic Bayesian Optimization is Promising and How Far Should We Look-ahead? A Study via Rollout},
author = {Xubo Yue and Raed Al Kontar},
journal= {arXiv preprint arXiv:1911.01004},
year = {2022}
}
备注
AISTATS 2020