通过贝叶斯主动学习实现自校正贝叶斯优化
机器学习
2024-02-16 v3 机器学习
摘要
高斯过程是贝叶斯优化与主动学习中的首选模型。然而，它们高度依赖于巧妙选择的超参数以发挥全部潜力，而文献中鲜有努力去寻找良好超参数。我们展示了为高斯过程选择良好超参数的影响，并提出了两种显式优先超参数学习的采集函数。基于统计距离的主动学习（SAL）考虑后验样本间的平均不一致性，由统计距离度量。SAL 在若干测试函数上的贝叶斯主动学习中优于最先进水平。随后我们引入自校正贝叶斯优化（SCoreBO），将 SAL 拓展为同时执行贝叶斯优化与主动学习。与朴素 BO 相比，SCoreBO 以更高速度学习模型超参数，同时在传统基准上优于最新贝叶斯优化方法。此外，我们展示了自校正在非典型贝叶斯优化任务上的重要性。
引用
@article{arxiv.2304.11005,
title = {Self-Correcting Bayesian Optimization through Bayesian Active Learning},
author = {Carl Hvarfner and Erik Hellsten and Frank Hutter and Luigi Nardi},
journal= {arXiv preprint arXiv:2304.11005},
year = {2024}
}