通过模态融合的多模态分子预训练
机器学习
2023-10-10 v2 生物大分子
摘要
自监督学习近期在分子建模的科学任务(如 AI 辅助药物发现)中受到日益增长的关注。现有研究考虑利用 2D 与 3D 分子结构进行表示学习。然而,这些方法依赖将各模态分开处理的直接对齐策略,未能发掘反映分子底层结构特征的 2D 与 3D 表示间的内在关联,且仅进行粗粒度的分子级对齐。为获得细粒度对齐并促进结构分子理解,我们引入一种原子关系级“先融合后预测”的自监督学习方法 MoleBLEND,其首先将由不同模态表示的原子关系融合为统一关系矩阵以联合编码,再分别恢复 2D 与 3D 结构的模态特定信息。通过将原子关系作为锚点,MoleBLEND 在同一分子的视觉相异 2D 与 3D 模态间于细粒度原子级有机对齐并整合,描绘出每个分子更全面的图景。大量实验表明 MoleBLEND 在主要 2D/3D 分子基准上取得最先进性能。我们进一步从互信息最大化视角提供理论洞见,表明我们的方法将对比、生成式(跨模态预测)与掩码后预测(单模态预测)目标统一于单一凝聚框架中。
引用
@article{arxiv.2307.06235,
title = {Multimodal Molecular Pretraining via Modality Blending},
author = {Qiying Yu and Yudi Zhang and Yuyan Ni and Shikun Feng and Yanyan Lan and Hao Zhou and Jingjing Liu},
journal= {arXiv preprint arXiv:2307.06235},
year = {2023}
}