化学性质预测的跨模态学习：大语言模型与图机器学习相结合
机器学习
2024-08-28 v1
摘要
在化学领域，目标是创造具有所需性质的新分子，以促进材料设计和药物筛选等应用中的准确性质预测。然而，现有的图深度学习方法存在局限性，限制了其表达能力。为解决此问题，我们探索将大语言模型（LLMs）中丰富的分子领域知识与图神经网络（GNNs）的互补优势相结合，以增强性质预测任务的性能。我们引入了一个多模态融合（MMF）框架，协同利用GNNs在图结构数据建模方面的分析能力和LLMs的语言生成与预测能力，从而提高分子性质预测的准确性和鲁棒性。我们的框架将GNNs在处理图结构数据方面的有效性与LLMs的少样本和零样本学习能力相结合，在降低过拟合风险的同时实现了改进的预测。此外，我们的方法有效应对了实际应用中常见的分布偏移挑战，并展示了学习跨模态表示的有效性，在性质预测任务的基准数据集上超越了最先进的基线方法。
引用
@article{arxiv.2408.14964,
title = {Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning},
author = {Sakhinana Sagar Srinivas and Venkataramana Runkana},
journal= {arXiv preprint arXiv:2408.14964},
year = {2024}
}
备注
Paper Accepted at Workshop on Robustness of Few-shot and Zero-shot Learning in Foundation Models at NeurIPS 2023