面向多智能体贝叶斯优化的高斯最大值熵搜索
机器学习
2023-03-13 v1 多智能体系统
摘要
我们研究多智能体贝叶斯优化（BO）问题，其中多个智能体通过迭代查询来最大化一个黑盒函数。我们关注熵搜索（ES），这是一种样本高效的BO算法，通过选择查询来最大化关于黑盒函数最大值的互信息。ES的主要挑战之一在于计算互信息需要计算代价高昂的近似技术。对于多智能体BO问题，ES的计算代价随智能体数量呈指数增长。为应对该挑战，我们提出高斯最大值熵搜索，一种具有良好样本与计算效率的多智能体BO算法。我们方法的关键在于使用正态分布来近似函数最大值并据此计算其互信息。所得近似将查询转化为一个闭式优化问题的解，该问题可进一步通过改进的梯度上升算法求解，并扩展到大量智能体。我们通过标准测试函数的数值实验以及源寻找问题的真实机器人实验证明了高斯最大值熵搜索的有效性。结果表明，所提算法在数值实验中优于多智能体BO基线，并能在真实机器人上以有限数量的含噪观测稳定地寻找源。
引用
@article{arxiv.2303.05694,
title = {Gaussian Max-Value Entropy Search for Multi-Agent Bayesian Optimization},
author = {Haitong Ma and Tianpeng Zhang and Yixuan Wu and Flavio P. Calmon and Na Li},
journal= {arXiv preprint arXiv:2303.05694},
year = {2023}
}
备注
10 pages, 9 figures