MatMMFuse：用于材料属性预测的多模态融合模型
机器学习
2025-05-09 v1 计算工程、金融与科学
摘要
近年来，利用基于图的晶体结构编码进行高通量材料属性预测取得了显著成功。然而，使用单模态模型使我们无法通过组合不同表示来利用增强特征空间所带来的优势。具体而言，预训练的大型语言模型（LLMs）能够编码大量有益于模型训练的知识。此外，图编码器能够学习局部特征，而文本编码器则能够学习空间群和晶体对称性等全局信息。在这项工作中，我们提出了材料多模态融合模型（MatMMFuse），这是一种基于融合的模型，它利用多头注意力机制来组合来自晶体图卷积网络（CGCNN）的结构感知嵌入和来自SciBERT模型的文本嵌入。我们使用材料项目数据集，在端到端框架中训练我们的模型。我们证明，对于形成能、带隙、凸包上方能量和费米能这四个关键属性，我们提出的模型相比原始的CGCNN和SciBERT模型均有改进。具体而言，在预测每个原子的形成能方面，我们观察到相比原始CGCNN模型有40%的提升，相比SciBERT模型有68%的提升。重要的是，我们展示了训练好的模型在钙钛矿、硫族化物和Jarvis数据集等小型精选数据集上的零样本性能。结果表明，所提出的模型比单独的原始CGCNN和SciBERT模型展现出更好的零样本性能。这使得研究人员能够将该模型部署到训练数据收集成本过高的专业工业应用中。
引用
@article{arxiv.2505.04634,
title = {MatMMFuse: Multi-Modal Fusion model for Material Property Prediction},
author = {Abhiroop Bhattacharya and Sylvain G. Cloutier},
journal= {arXiv preprint arXiv:2505.04634},
year = {2025}
}
备注
Presented at AI for Accelerated Materials Design(AI4Mat), ICLR 2025 (https://openreview.net/forum?id=pN4Zg6HBlq#discussion)