面向分子性质预测的几何感知线图Transformer预训练

近年来，基于深度学习的分子性质预测备受关注。由于标记分子稀缺，从无标签数据中学习可泛化分子表征的自监督学习方法日益受到重视。分子在建模中通常被视为二维拓扑图，但已发现其三维几何对决定分子功能至关重要。本文提出几何感知线图Transformer（Galformer）预训练，一种新颖的自监督学习框架，旨在利用二维与三维模态增强分子表征学习。具体而言，我们首先设计双模态线图Transformer骨干来编码分子的拓扑与几何信息。所设计的骨干融入有效的结构编码以从两种模态捕获图结构。随后我们设计了模态间与模态内两个互补的预训练任务。这些任务提供恰当的监督信息，并从无标签分子中提取有判别力的二维与三维知识。最后，我们通过下游微调在十二个性质预测基准上将Galformer与六个最先进基线进行比较。实验结果表明，Galformer在分类与回归任务上均持续优于所有基线，证明了其有效性。