LLM-Prop：从晶体文本描述预测晶态固体的物理与电子性质
计算与语言
2023-10-24 v1 材料科学
摘要
晶体性质的预测在晶体设计过程中起着至关重要的作用。当前预测晶体性质的方法侧重于使用图神经网络（GNNs）对晶体结构进行建模。尽管 GNNs 功能强大，但准确建模晶体中原子与分子之间的复杂相互作用仍具挑战。令人惊讶的是，尽管文本数据提供了丰富的信息与表现力，从晶体文本描述预测晶体性质的研究却很少，主要原因之一是缺乏该任务的公开数据。本文中，我们构建并公开了一个基准数据集（称为 TextEdge），其中包含晶体结构的文本描述及其性质。随后我们提出 LLM-Prop，一种利用大语言模型（LLMs）的通用学习能力，从文本描述预测晶体物理与电子性质的方法。LLM-Prop 在预测带隙上比当前最先进的基于 GNN 的晶体性质预测器高出约 4%，在分类带隙为直接还是间接上高出 3%，在预测晶胞体积上高出 66%。LLM-Prop 也优于微调过的 MatBERT（一个领域特定的预训练 BERT 模型），尽管其参数量仅为其三分之一。我们的实证结果可能凸显了当前 GNNs 在捕捉空间群对称性与 Wyckoff 位点信息以准确预测晶体性质方面的不足。
引用
@article{arxiv.2310.14029,
title = {LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions},
author = {Andre Niyongabo Rubungo and Craig Arnold and Barry P. Rand and Adji Bousso Dieng},
journal= {arXiv preprint arXiv:2310.14029},
year = {2023}
}
备注
Code for LLM-Prop can be found at: https://github.com/vertaix/LLM-Prop