小样本试验中采用完全贝叶斯优化的理由
机器学习
2022-08-31 v1 机器学习
摘要
尽管采样效率是黑盒函数评估代价高昂时使用贝叶斯优化的主要动机，但基于II型最大似然（ML-II）的标准方法可能失效，并在小样本试验中导致令人失望的性能。本文给出采用完全贝叶斯优化（FBO）作为替代方案的三个有力理由。第一，ML-II的失效比现有研究在人为设定下所暗示的更为常见。第二，FBO比ML-II更鲁棒，而鲁棒的代价几乎可忽略。第三，FBO已易于实现且速度足以实用。本文使用反映当前关于模型、算法和软件平台实践的相关实验支持该论点。由于收益似乎超过代价，研究者应考虑在其应用中采用FBO，以防潜在失效最终浪费宝贵的研究资源。
引用
@article{arxiv.2208.13960,
title = {The case for fully Bayesian optimisation in small-sample trials},
author = {Yuji Saikai},
journal= {arXiv preprint arXiv:2208.13960},
year = {2022}
}