Crystal Transformer：面向材料生成式与微调设计的自学习神经语言模型
材料科学
2022-04-27 v1 机器学习
摘要
自监督神经语言模型最近取得了前所未有的成功，从自然语言处理到学习生物序列和有机分子的语言。这些模型在蛋白质与分子的生成、结构分类以及基于所学表征的功能预测方面展现了优越性能。然而，大多数基于掩码的预训练语言模型并非为生成式设计而构建，且其黑盒特性使得难以解释其设计逻辑。在此，我们提出 BLMM Crystal Transformer，一种基于神经网络的概率生成模型，用于无机材料的生成式与微调设计。我们的模型构建于用于文本生成的填空语言模型之上，并在学习“材料语法”方面展现出独特优势，同时具备高质量生成、可解释性和数据高效性。它能生成化学有效的材料组分，电荷中性高达 89.7%、电负性平衡达 84.8%，相比伪随机采样基线分别高出 4 倍和 8 倍以上。BLMM 的概率生成过程使其能基于所学材料化学推荐微调操作，并可用于材料掺杂。结合 TCSP 晶体结构预测算法，我们应用模型发现了一组经 DFT 计算验证的新材料。因此，我们的工作将基于无监督 transformer 语言模型的生成式人工智能引入无机材料领域。我们开发了一个用户友好的 Web 应用用于计算材料掺杂，可免费访问 \url{www.materialsatlas.org/blmtinker}。
引用
@article{arxiv.2204.11953,
title = {Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials},
author = {Lai Wei and Qinyang Li and Yuqi Song and Stanislav Stefanov and Edirisuriya M. D. Siriwardane and Fanglin Chen and Jianjun Hu},
journal= {arXiv preprint arXiv:2204.11953},
year = {2022}
}
备注
18 pages