KPGT：面向分子性质预测的知识引导图Transformer预训练

设计精确的深度学习模型用于分子性质预测，在药物和材料发现中扮演着日益重要的角色。近来，由于标记分子的稀缺，用于学习分子图的可泛化与可迁移表示的自监督学习方法引起了广泛关注。在本文中，我们认为当前自监督学习方法在分子性质预测上取得预期性能存在两大障碍，即定义不当的预训练任务与有限的模型容量。为此，我们提出知识引导图Transformer预训练（KPGT），一种用于分子图表示学习的新型自监督学习框架，以缓解上述问题并提升下游分子性质预测任务的性能。更具体地，我们首先引入一个高容量模型，称为线图Transformer（LiGhT），它强调化学键的重要性，主要设计用于建模分子图的结构信息。随后，提出一种知识引导的预训练策略，利用分子的额外知识引导模型从大规模无标记分子图中捕获丰富的结构与语义信息。大量计算实验表明，在多个分子性质预测任务上，KPGT 能够优于当前最先进的方法。