Scalable3-BO：大数据遇见HPC——超级计算机上可扩展的异步并行高维贝叶斯优化框架
分布式、并行与集群计算
2021-08-16 v1 机器学习
最优化与控制
机器学习
摘要
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用，并保证统计收敛到全局最优。尽管它仍是最流行的优化方法之一，但其能力受到数据规模、所考虑问题的维度以及顺序优化性质的限制。这些可扩展性问题相互交织，必须同时解决。在本工作中，我们提出Scalable-BO框架，其采用稀疏GP作为底层代理模型以应对大数据，并配备随机嵌入以高效优化具有低有效维度的高维问题。Scalable-BO框架进一步具备异步并行化特性，在计算预算内充分利用HPC上的计算资源。因此，所提出的Scalable-BO框架在三个独立维度上可扩展：数据规模、维度以及HPC上的计算资源。本工作的目标是将BO的前沿推向超越其众所周知的可扩展性问题，并最小化优化高维计算昂贵应用的挂钟等待时间。我们展示了Scalable-BO在100万数据点、10,000维问题以及HPC环境中20个并发工作进程下的能力。
引用
@article{arxiv.2108.05969,
title = {Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers},
author = {Anh Tran},
journal= {arXiv preprint arXiv:2108.05969},
year = {2021}
}