多模态大语言模型中层次化分子图表示探索
机器学习
2025-02-14 v2
摘要
随着大语言模型(LLM)和多模态模型的里程碑式进展，将LLM应用于生物化学任务的研究呈爆发式增长。利用图特征和分子文本表示，LLM可以处理多种任务，如预测化学反应结果和描述分子性质。然而，大多数现有工作忽略了图模态的多层次特性，即使不同化学任务可能受益于不同特征层次。本工作中，我们首先研究了特征粒度效应，揭示即使将所有GNN生成的特征token缩减为一个也不会显著影响模型性能。随后我们研究了不同图特征层次的效果，发现LLM生成分子的质量以及不同任务上的模型性能均依赖于不同的图特征层次。因此，我们得出两个关键见解：(1)当前与分子相关的多模态LLM缺乏对图特征的全面理解，(2)静态处理不足以应对层次化图特征。我们详细分享了研究发现，希望为社区开发更先进的多模态LLM以整合分子图铺平道路。
引用
@article{arxiv.2411.04708,
title = {Exploring Hierarchical Molecular Graph Representation in Multimodal LLMs},
author = {Chengxin Hu and Hao Li and Yihe Yuan and Jing Li and Ivor Tsang},
journal= {arXiv preprint arXiv:2411.04708},
year = {2025}
}
备注
9 pages, 4 tables, 1 figure, paper under review