从分子到材料：用于原子属性预测的预训练大型可泛化模型
机器学习
2024-05-07 v2
摘要
基础模型在自然语言处理和计算机视觉等机器学习领域已带来变革性影响。由于跨多个化学领域训练有效模型的挑战，原子属性预测方面类似的成果一直有限。为此，我们提出联合多域预训练（JMP），一种监督式预训练策略，它在多任务框架内同时于来自不同化学领域的多个数据集上训练，将每个数据集视为一个独特的预训练任务。我们的组合训练数据集包含来自 OC20、OC22、ANI-1x 和 Transition-1x 的约 1.2 亿个体系。我们通过对包括 QM9、rMD17、MatBench、QMOF、SPICE 和 MD22 在内的一组多样化下游任务和数据集进行微调来评估性能和泛化能力。JMP 相比从头训练平均提升 59%，并在 40 项任务中的 34 项上达到或刷新了 state-of-the-art。我们的工作凸显了利用多样化数据的预训练策略在推动跨化学领域属性预测（尤其是低数据任务）方面的潜力。请访问 https://nima.sh/jmp 了解更多信息。
引用
@article{arxiv.2310.16802,
title = {From Molecules to Materials: Pre-training Large Generalizable Models for Atomic Property Prediction},
author = {Nima Shoghi and Adeesh Kolluru and John R. Kitchin and Zachary W. Ulissi and C. Lawrence Zitnick and Brandon M. Wood},
journal= {arXiv preprint arXiv:2310.16802},
year = {2024}
}