材料信息学中的迁移学习：通过最少但高信息量的多模态输入建立结构-性质关系
材料科学
2024-12-11 v3 计算物理
摘要
在这项工作中，我们提出了简单、有效且计算高效的迁移学习方法，用于材料背景下结构-性质关系的预测，利用来自不同模态的高信息量输入。由于材料性质源于其电子结构，我们使用神经网络直接从电子电荷密度分布图像数据集中提取表示。我们展示了现有预训练卷积神经网络和大语言模型知识向物理领域数据的可迁移性，探索了用于回归能量学或结构相关性质的广泛组合，以及语义晶体学信息在多模态方法中的作用。我们测试了 CLIP 多模态模型的适用性，并采用了一种训练协议，从不同的预训练模态构建一个更具可解释性和通用性的堆叠式定制解决方案。该研究为提高物理系统中描述符识别的有效性提供了一条有前景的途径，揭示了多模态迁移学习在材料性质预测方面的能力。我们没有使用成熟的基于 GNN 的方法，而是探索了基于图像和文本架构的迁移学习，这可能会影响材料和化学信息学领域新型低成本 AI 方法的决策。
引用
@article{arxiv.2401.09301,
title = {Transfer Learning in Materials Informatics: structure-property relationships through minimal but highly informative multimodal input},
author = {Dario Massa and Grzegorz Kaszuba and Stefanos Papanikolaou and Piotr Sankowski},
journal= {arXiv preprint arXiv:2401.09301},
year = {2024}
}