材料信息学 Transformer：一种用于可解释材料性质预测的语言模型
机器学习
2023-09-04 v2 材料科学
化学物理
摘要
近来，大语言模型（LLMs）在自然语言处理、计算机视觉和分子建模等多种研究领域中展现出非凡能力。我们通过引入我们的模型 Materials Informatics Transformer（MatInFormer）将这一范式扩展到利用 LLM 进行材料性质预测。具体而言，我们提出了一种新方法，通过对相关空间群信息进行分词来学习晶体学的语法。我们进一步通过整合关于金属有机框架（MOFs）的任务特定数据来说明 MatInFormer 的适应性。通过注意力可视化，我们揭示了模型在性质预测过程中优先关注的关键特征。我们提出模型的有效性在 14 个不同数据集上得到了实证验证，从而凸显了其通过准确材料性质预测实现高通量筛选的潜力。
引用
@article{arxiv.2308.16259,
title = {Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction},
author = {Hongshuo Huang and Rishikesh Magar and Changwen Xu and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2308.16259},
year = {2023}
}