利用多模态对比学习从自然语言中提取分子性质
机器学习
2023-07-26 v1 人工智能
计算与语言
信息检索
定量方法
摘要
计算生物化学中的深度学习传统上聚焦于分子图神经表示；然而，语言模型的最新进展凸显了文本中编码了大量科学知识。为桥接这两种模态，我们研究了如何将分子性质信息从自然语言迁移到图表示。我们研究了在使用对比学习将神经图表示与其特征文本描述的表示对齐后，性质预测性能的增益。我们实现了神经相关性打分策略以改进文本检索，引入了一种受有机反应启发的新型化学有效的分子图增强策略，并展示了在下游MoleculeNet性质分类任务上改进的性能。相较于仅在图模态上预训练的模型，我们实现了+4.26%的AUROC增益，相较于近期提出的分子图/文本对比训练的MoMu模型（Su et al. 2022）实现了+1.54%的增益。
引用
@article{arxiv.2307.12996,
title = {Extracting Molecular Properties from Natural Language with Multimodal Contrastive Learning},
author = {Romain Lacombe and Andrew Gaut and Jeff He and David Lüdeke and Kateryna Pistunova},
journal= {arXiv preprint arXiv:2307.12996},
year = {2023}
}
备注
2023 ICML Workshop on Computational Biology