CrysGNN：蒸馏预训练知识以增强晶体材料的性质预测
机器学习
2023-01-18 v1 材料科学
摘要
近年来，基于图神经网络 (GNN) 的方法已成为一种强有力的技术，能够在丰富的表示空间中编码晶体材料的复杂拓扑结构。这些模型本质上多为有监督的，利用特定性质的训练数据，学习晶体结构与不同性质（如生成能、带隙、体积模量等）之间的关系。这些方法大多需要大量带性质标签的数据来训练系统，而这对于不同性质可能无法获取。然而，存在大量具有化学组成和结构键信息的晶体数据。为了利用这些未开发的数据，本文提出了 CrysGNN，一种用于晶体材料的预训练 GNN 框架，它利用大量无标签材料数据，捕获了晶体图的节点级和图级结构信息。进一步地，我们从 CrysGNN 中提取蒸馏知识，并注入到不同的 SOTA 性质预测器中，以增强其性质预测精度。我们进行了大量实验，结果表明，借助预训练模型的蒸馏知识，所有 SOTA 算法均能以较大优势超越其各自的原始版本。我们还观察到，蒸馏过程相比微调预训练模型的传统方法有显著提升。我们发布了预训练模型以及精心整理的包含 80 万个晶体图的大型数据集；以便该预训练模型可插入任何现有及未来的模型中，以增强其预测精度。
引用
@article{arxiv.2301.05852,
title = {CrysGNN : Distilling pre-trained knowledge to enhance property prediction for crystalline materials},
author = {Kishalay Das and Bidisha Samanta and Pawan Goyal and Seung-Cheol Lee and Satadeep Bhattacharjee and Niloy Ganguly},
journal= {arXiv preprint arXiv:2301.05852},
year = {2023}
}
备注
16 Pages,5 figures