用于统一 3D 分子表示学习的等变预训练 Transformer
机器学习
2025-02-25 v2 化学物理
摘要
在大量无标签 3D 分子上进行预训练已在各种科学应用中展现出优越性。然而，以往的工作通常专注于在特定领域（要么是蛋白质，要么是小分子）预训练模型，错失了利用跨领域知识的机会。为了弥补这一差距，我们引入了等变预训练 Transformer（EPT），这是一种可以从多领域 3D 分子中进行预训练的全原子基础模型。基于 E(3)-等变 Transformer，EPT 不仅能处理原子级信息，还能结合块级特征（如蛋白质中的残基）。此外，我们采用块级去噪任务而非传统的原子级去噪作为预训练目标。为了预训练 EPT，我们构建了一个包含 589 万条目的大规模数据集，包含小分子、蛋白质、蛋白质-蛋白质复合物和蛋白质-分子复合物。在包括配体结合亲和力预测、蛋白质性质预测和分子性质预测在内的下游任务上的实验评估表明，EPT 在第一个任务上显著优于先前最先进的方法，并在其余两个任务上取得了极具竞争力的优异表现。此外，我们展示了 EPT 在识别靶向 3CL 蛋白酶（SARS-CoV-2 复制中的关键靶点）的小分子候选药物方面的潜力。在 1,978 种 FDA 批准的药物中，EPT 将 8 种已知抗 COVID-19 药物中的 7 种排进了前 200 名，表明 EPT 具有高召回率。通过使用分子动力学（MD）模拟，EPT 进一步发现了 7 种新化合物，其结合亲和力高于排名最高的已知抗 COVID-19 药物，展示了其在药物发现中的强大能力。
引用
@article{arxiv.2402.12714,
title = {An Equivariant Pretrained Transformer for Unified 3D Molecular Representation Learning},
author = {Rui Jiao and Xiangzhe Kong and Li Zhang and Ziyang Yu and Fangyuan Ren and Wenjuan Tan and Wenbing Huang and Yang Liu},
journal= {arXiv preprint arXiv:2402.12714},
year = {2025}
}