面向分子多模态预训练的类群对称随机微分方程模型
机器学习
2025-02-10 v2 人工智能
生物大分子
摘要
分子预训练已迅速成为提升基于AI的药物发现性能的常用范式。自然地,分子可表示为2D拓扑图或3D几何点云。尽管大多数现有预训练方法仅关注单一模态,近期研究表明最大化这两种模态间的互信息(MI)可增强分子表示能力。同时,现有分子多模态预训练方法基于从拓扑与几何编码出的表示空间来近似MI,从而导致分子关键结构信息的丢失。为解决此问题,我们提出MoleculeSDE。MoleculeSDE利用类群对称(如SE(3)-等变与反射反对称)随机微分方程模型,在输入空间中直接从2D拓扑生成3D几何,反之亦然。该方法不仅获得更紧的MI界,还支持比先前工作更丰富的下游任务。通过与17种预训练基线对比,我们实证验证MoleculeSDE能学习到具有SOTA性能的具表达力的表示,在32个下游任务中的26个上达到最优。
引用
@article{arxiv.2305.18407,
title = {A Group Symmetric Stochastic Differential Equation Model for Molecule Multi-modal Pretraining},
author = {Shengchao Liu and Weitao Du and Zhiming Ma and Hongyu Guo and Jian Tang},
journal= {arXiv preprint arXiv:2305.18407},
year = {2025}
}