GPS++:一种用于分子性质预测的优化混合 MPNN/Transformer
定量方法
2022-12-07 v2 机器学习
摘要
本技术报告介绍 GPS++,即 Open Graph Benchmark Large-Scale Challenge (OGB-LSC 2022) 中 PCQM4Mv2 分子性质预测任务冠军方案。我们的方法实现了先前文献中的若干关键原则。GPS++ 方法核心为一种融合 3D 原子位置与辅助去噪任务的混合 MPNN/Transformer 模型。GPS++ 的有效性体现于在独立测试挑战 PCQM4Mv2 划分上取得 0.0719 平均绝对误差。得益于 Graphcore IPU 加速,GPS++ 可扩展至深层架构(16 层),每轮训练 3 分钟,以及大型集成(112 个模型),在 1 小时 32 分钟内完成最终预测,远少于分配的 4 小时推理预算。我们的实现公开于:https://github.com/graphcore/ogb-lsc-pcqm4mv2。
引用
@article{arxiv.2212.02229,
title = {GPS++: An Optimised Hybrid MPNN/Transformer for Molecular Property Prediction},
author = {Dominic Masters and Josef Dean and Kerstin Klaser and Zhiyi Li and Sam Maddrell-Mander and Adam Sanders and Hatem Helal and Deniz Beker and Ladislav Rampášek and Dominique Beaini},
journal= {arXiv preprint arXiv:2212.02229},
year = {2022}
}