一种面向高维大规模优化的模型聚合方法
机器学习
2022-06-02 v2 最优化与控制
机器学习
摘要
贝叶斯优化(BO)已广泛用于机器学习与仿真优化。随着这些领域计算资源与存储容量的增长，高维与大规模问题正变得日益普遍。在本研究中，我们提出贝叶斯优化中的模型聚合方法(MamBO)算法，用于高效求解高维大规模优化问题。MamBO结合子采样与子空间嵌入来共同应对高维与大规模问题；此外，采用模型聚合方法来解决应用嵌入时产生的代理模型不确定性问题。该代理模型不确定性问题在嵌入文献与实践中多被忽视，且在问题高维、数据有限时加剧。我们提出的模型聚合方法降低了这些低维代理模型风险并提升了BO算法的鲁棒性。我们推导了所提聚合代理模型的渐近界并证明了MamBO的收敛性。基准数值实验表明，我们的算法取得优于或可比于其他常用高维BO算法的性能。此外，我们将MamBO应用于人脸识别机器学习算法的级联分类器，结果显示MamBO找到了比基准设置更高分类精度且计算快于其他高维BO算法的配置。
引用
@article{arxiv.2205.07525,
title = {A model aggregation approach for high-dimensional large-scale optimization},
author = {Haowei Wang and Ercong Zhang and Szu Hui Ng and Giulia Pedrielli},
journal= {arXiv preprint arXiv:2205.07525},
year = {2022}
}