LLM与GNN互补：从大语言模型蒸馏用于多模态图学习
机器学习
2024-06-04 v1 人工智能
摘要
图神经网络的最新进展极大地增强了建模复杂分子结构以预测性质的能力。然而，分子数据不仅包含图结构，还包括文本和视觉信息，而GNN对这些信息的处理效果不佳。为弥合这一差距，我们提出了一个创新框架，利用多模态分子数据从大语言模型中提取见解。我们引入了GALLON（从大语言模型蒸馏进行图学习），这是一个通过将多模态知识蒸馏到统一的多层感知机中来协同LLM和GNN能力的框架。该方法将分子的丰富文本和视觉数据与GNN的结构分析能力相结合。大量实验表明，我们蒸馏得到的MLP模型显著提高了分子性质预测的准确性和效率。
引用
@article{arxiv.2406.01032,
title = {LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning},
author = {Junjie Xu and Zongyu Wu and Minhua Lin and Xiang Zhang and Suhang Wang},
journal= {arXiv preprint arXiv:2406.01032},
year = {2024}
}