基于因子图的分散式高维贝叶斯优化
机器学习
2018-01-25 v3 分布式、并行与集群计算
机器学习
多智能体系统
摘要
本文提出一种新颖的分散式高维贝叶斯优化（DEC-HBO）算法，与现有 HBO 算法不同，该算法能够利用未知目标函数 f 的各输入分量对输出的相互依赖效应来提升 BO 性能，并且仍能在输入维度数量上保持可扩展性，而无需先验知识或输入空间存在低（有效）维度。为此，我们提出 f 的一种稀疏而丰富的因子图表示，用以设计同样可由稀疏因子图表征的采集函数，从而可利用分布式消息传递以分散方式高效优化。尽管利用因子图丰富了输入分量对 f 输出的相互依赖效应的刻画，DEC-HBO 仍能在渐近意义上保证无遗憾性能。在合成与真实世界实验（例如具有 1811 个超参数的稀疏高斯过程模型）上的经验评估表明，DEC-HBO 优于最先进的 HBO 算法。
引用
@article{arxiv.1711.07033,
title = {Decentralized High-Dimensional Bayesian Optimization with Factor Graphs},
author = {Trong Nghia Hoang and Quang Minh Hoang and Ruofei Ouyang and Kian Hsiang Low},
journal= {arXiv preprint arXiv:1711.07033},
year = {2018}
}
备注
32nd AAAI Conference on Artificial Intelligence (AAAI 2018), Extended version with proofs, 13 pages