基于注意力网络预测材料性质的高维贝叶斯超参数优化：以 Ax 与 SAASBO 优化 CrabNet 为例
材料科学
2023-03-20 v1
摘要
训练代价高昂的深度学习模型可受益于决定模型架构的超参数优化。我们在自适应实验（Ax）平台内使用两种模型，对材料信息学模型——组合受限注意力网络（Compositionally-Restricted Attention-Based Network, CrabNet）的 23 个超参数进行了 100 次自适应设计迭代优化。其中包括一种近期发展的贝叶斯优化（BO）算法——稀疏轴对齐子空间贝叶斯优化（sparse axis-aligned subspaces Bayesian optimization, SAASBO），该算法在高维优化任务上展现出令人振奋的性能。利用 SAASBO 优化 CrabNet 超参数，我们在材料信息学基准平台 Matbench 的实验带隙回归任务上取得了新的最优结果（相较现有最佳方法平均绝对误差（MAE）降低约 4.5%）。文中描述了各 Ax 模型的自适应设计方案特征及特征重要性。SAASBO 在改进现有代理模型方面具有巨大潜力，如本工作所示，并且在未来工作中，有望在高维材料科学搜索空间中高效发现新的高性能材料。
引用
@article{arxiv.2203.12597,
title = {High-dimensional Bayesian Optimization of Hyperparameters for an Attention-based Network to Predict Materials Property: a Case Study on CrabNet using Ax and SAASBO},
author = {Sterling G. Baird and Marianne Liu and Taylor D. Sparks},
journal= {arXiv preprint arXiv:2203.12597},
year = {2023}
}
备注
main: 18 pages, 8 figures. supp: 24 pages, 22 figures. To be submitted to Computational Materials Science