减少下游（时间）停机：使用异构AI加速器预训练分子GNN
机器学习
2022-11-10 v1 原子与分子团簇
摘要
迁移学习的成功普及了从海量数据源预训练模型，然后针对特定任务进行微调的方法。虽然这类方法已成为自然语言处理等领域的常态，但在化学领域，迁移学习方法的实现和评估仍处于早期阶段。在这项工作中，我们展示了对一个在包含270万个水团簇的分子数据库上训练的图神经网络（GNN）进行下游任务微调。使用Graphcore IPU作为AI加速器来训练分子GNN，将训练时间从报道的在50万个团簇上的2.7天减少到在270万个团簇上的1.2小时。针对分子动力学下游任务以及迁移到不同势能面的微调，在单个GPU上分别仅耗时8.3小时和28分钟。
引用
@article{arxiv.2211.04598,
title = {Reducing Down(stream)time: Pretraining Molecular GNNs using Heterogeneous AI Accelerators},
author = {Jenna A. Bilbrey and Kristina M. Herman and Henry Sprueill and Soritis S. Xantheas and Payel Das and Manuel Lopez Roldan and Mike Kraus and Hatem Helal and Sutanay Choudhury},
journal= {arXiv preprint arXiv:2211.04598},
year = {2022}
}
备注
Machine Learning and the Physical Sciences Workshop at the 36th conference on Neural Information Processing Systems (NeurIPS)