整合大型语言模型与领域特定小模型的分子图表示学习
机器学习
2024-08-20 v1 人工智能
信息检索
化学物理
生物大分子
摘要
分子性质预测是药物发现的重要基础。近年来，预训练深度学习模型已广泛应用于此任务。一些将先验生物领域知识融入预训练框架的方法已取得了令人瞩目的成果。然而，这些方法严重依赖生物化学专家，且检索和总结大量领域知识文献既耗时又昂贵。大型语言模型（LLMs）在理解和高效提供通用知识方面已展现出显著性能。然而，它们偶尔会产生幻觉，且在生成领域特定知识时缺乏精确性。相反，领域特定小模型（DSMs）拥有丰富的领域知识，能够精确计算分子领域相关指标。然而，由于其模型规模有限且功能单一，它们缺乏全面表示学习所需的知识广度。为利用两种方法在分子性质预测中的优势，我们提出了一种新颖的分子图表示学习框架，将大型语言模型与领域特定小模型（MolGraph-LarDo）整合。在技术上，我们设计了一种两阶段提示策略，其中引入 DSMs 来校准 LLMs 提供的知识，从而增强领域特定信息的准确性，使 LLMs 能够为分子样本生成更精确的文本描述。随后，我们采用多模态对齐方法来协调多种模态，包括分子图及其对应的描述文本，以指导分子表示的预训练。大量实验证明了所提方法的有效性。
引用
@article{arxiv.2408.10124,
title = {Molecular Graph Representation Learning Integrating Large Language Models with Domain-specific Small Models},
author = {Tianyu Zhang and Yuxiang Ren and Chengbin Hou and Hairong Lv and Xuegong Zhang},
journal= {arXiv preprint arXiv:2408.10124},
year = {2024}
}