中文

基于缩放记忆初始化(ZoMBI)的针尖寻针问题快速贝叶斯优化

机器学习 2023-09-11 v2 材料科学 最优化与控制

摘要

针尖寻针(Needle-in-a-Haystack)问题广泛存在于罕见病预测、生态资源管理、欺诈检测和材料属性优化等众多应用中。当最优条件相对于数据集规模存在极端不平衡时,便出现针尖寻针问题。例如,在开放获取的 Materials Project 数据库中,146k 个材料里仅有 0.82% 具有负泊松比。然而,当前最先进的优化算法不具备解决这些具有挑战性的多维针尖寻针问题的能力,导致收敛至全局最优缓慢或陷入局部极小。本文中,我们提出一种称为 ZoMBI 的缩放记忆初始化(Zooming Memory-Based Initialization)算法。ZoMBI 主动从先前性能最佳的已评估实验中提取知识,迭代地缩放采样搜索边界以逼近全局最优“针”,随后剪除低性能历史实验的记忆,通过将算法时间复杂度从 O(n^3) 降至每次激活 φ 个前向实验的 O(φ^3) 来加速计算,该复杂度在若干次激活后趋于常数 O(1)。此外,ZoMBI 实现了两个自定义自适应采集函数,以进一步引导新实验采样朝向全局最优。我们在三个呈现针尖寻针特征的真实数据集上验证算法的优化性能,并在额外的 174 个解析数据集上进一步压力测试算法性能。ZoMBI 算法相比传统贝叶斯优化实现了 400 倍的算力加速,并在少于 100 次实验内高效发现最优解,其优化程度最高可达类似方法 MiP-EGO、TuRBO 和 HEBO 所发现解的 3 倍。

关键词

引用

@article{arxiv.2208.13771,
  title  = {Fast Bayesian Optimization of Needle-in-a-Haystack Problems using Zooming Memory-Based Initialization (ZoMBI)},
  author = {Alexander E. Siemenn and Zekun Ren and Qianxiao Li and Tonio Buonassisi},
  journal= {arXiv preprint arXiv:2208.13771},
  year   = {2023}
}

备注

Paper 16 pages; SI 6 pages