基于连续近似的多保真度贝叶斯优化
机器学习
2017-03-21 v1
摘要
用于黑箱优化的 Bandit 方法，如贝叶斯优化，被广泛应用于超参数调优和实验设计等多种场景。近来，由于此类应用中函数评估的成本日益高昂，\emph{多保真度}方法引起了相当多的关注。多保真度方法利用目标函数的廉价近似来加速整体优化过程。然而，大多数多保真度方法仅假设有限数量的近似。在许多实际应用中，可能存在连续的近似谱。例如，在调优昂贵的神经网络时，可以选择使用较少的数据 和/或较少的训练迭代次数 来近似交叉验证性能。在此，这些近似最好被视为源自一个连续的二维空间 。本文针对此场景开发了一种贝叶斯优化方法 BOCA。我们刻画了其理论性质，并证明其遗憾值优于忽略近似的策略。在合成实验和真实实验中，BOCA 均优于多个其他基线方法。
引用
@article{arxiv.1703.06240,
title = {Multi-fidelity Bayesian Optimisation with Continuous Approximations},
author = {Kirthevasan Kandasamy and Gautam Dasarathy and Jeff Schneider and Barnabas Poczos},
journal= {arXiv preprint arXiv:1703.06240},
year = {2017}
}