原子材料建模中图神经网络的比例规律
机器学习
2025-04-14 v1 材料科学
摘要
原子材料建模是一项具有广泛应用前景的关键任务，从药物发现到材料科学，准确预测目标材料属性都可能推动科学发现的重大进展。图神经网络 (GNN) 因其捕捉复杂关系结构的能力而成为原子材料数据建模的前沿方法。尽管机器学习性能随模型规模和数据集大小而提升，但针对原子材料建模的 GNN 仍相对较小，与拥有数十亿参数和 TB 级数据集的大语言模型 (LLM) 相比，后者在各自领域实现了显著性能。为弥合这一差距，我们通过开发基于数十亿参数、在 TB 级数据集上训练的基础模型来探索 GNN 的比例极限。我们的ethods 引入了来自 LLM 库的技术，高效管理大规模数据和模型，实现有效的训练和部署。这一工作回答了 GNN 规模化的三个根本问题：GNN 模型架构的规模潜力、数据集大小对模型精度的影响、以及 LLM 启发式技术对 GNN 架构的适用性。具体而言，本研究结果包括：(1) 揭示 GNN 比例规律，阐明模型规模、数据集规模与精度之间的关系；(2) 为原子材料建模优化的基础 GNN 模型；(3) 集成先进 LLM 训练技术的 GNN 代码库。我们的发现为具有数十亿参数和 TB 级数据集的大规模 GNN 奠定了基础，为未来在原子材料建模中取得突破性进展建立了可扩展的路径。
引用
@article{arxiv.2504.08112,
title = {Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling},
author = {Chaojian Li and Zhifan Ye and Massimiliano Lupo Pasini and Jong Youl Choi and Cheng Wan and Yingyan Celine Lin and Prasanna Balaprakash},
journal= {arXiv preprint arXiv:2504.08112},
year = {2025}
}
备注
Accepted by DAC'25