用于调整期望改进的变分熵搜索
机器学习
2025-03-11 v2 机器学习
最优化与控制
摘要
贝叶斯优化是一种广泛用于优化黑盒函数的技术，其中期望改进（EI）是该领域最常用的采集函数。虽然 EI 常被视为不同于其他信息论采集函数（如熵搜索 ES 和最大值熵搜索 MES），但我们的研究表明，当通过变分推断（VI）进行处理时，EI 可被视为 MES 的一个特例。在此背景下，我们开发了变分熵搜索（VES）方法和 VES-Gamma 算法，该算法通过融入信息论概念的原理来调整 EI。我们在多种测试函数和真实数据集上证明了 VES-Gamma 的有效性，突显了其在贝叶斯优化场景中的理论和实用价值。
引用
@article{arxiv.2402.11345,
title = {Variational Entropy Search for Adjusting Expected Improvement},
author = {Nuojin Cheng and Stephen Becker},
journal= {arXiv preprint arXiv:2402.11345},
year = {2025}
}
备注
This is a preliminary technical report. For a more comprehensive study, please refer to arXiv:2501.18756