GemNet-OC：面向大规模多样化分子模拟数据集开发图神经网络
机器学习
2022-10-03 v3 材料科学
化学物理
计算物理
摘要
近年来出现了规模与多样性均高出数个数量级的分子模拟数据集。这些新数据集在四个复杂性维度上存在显著差异：1. 化学多样性（不同元素的数量），2. 系统规模（每个样本的原子数），3. 数据集大小（数据样本数），以及 4. 域偏移（训练集与测试集的相似度）。尽管存在这些巨大差异，在小型且狭窄的数据集上进行基准测试仍是展示分子模拟图神经网络（GNNs）进展的主要方法，这可能是由于训练计算成本更低。这就提出了一个问题——在小型狭窄数据集上的 GNN 进展能否迁移到这些更复杂的数据集上？本工作通过首先基于大型 Open Catalyst 2020（OC20）数据集开发 GemNet-OC 模型来研究该问题。GemNet-OC 在 OC20 上的性能超越先前最优（SOTA）16%，同时将训练时间缩短为原来的十分之一。随后我们比较了 18 个模型组件与超参数选择对多个数据集性能的影响。我们发现，根据用于模型选择的数据集不同，所得模型将截然不同。为隔离该差异的来源，我们研究了 OC20 数据集的六个子集，分别测试上述四个数据集维度中的每一个。我们发现 OC-2M 子集上的结果与完整 OC20 数据集相关性良好，同时训练成本大幅降低。我们的发现对仅在小型数据集上开发 GNN 的普遍做法提出了挑战，但强调了通过中等规模、具代表性的数据集（如 OC-2M）与高效模型（如 GemNet-OC）实现快速开发周期与可泛化结果的方法。我们的代码与预训练模型权重已开源。
引用
@article{arxiv.2204.02782,
title = {GemNet-OC: Developing Graph Neural Networks for Large and Diverse Molecular Simulation Datasets},
author = {Johannes Gasteiger and Muhammed Shuaibi and Anuroop Sriram and Stephan Günnemann and Zachary Ulissi and C. Lawrence Zitnick and Abhishek Das},
journal= {arXiv preprint arXiv:2204.02782},
year = {2022}
}