MoRA：面向LLM多模态分子助手的分子感知在线低秩适配框架
机器学习
2025-10-15 v1 人工智能
摘要
将分子图结构有效集成到大语言模型（LLMs）中是药物发现的关键挑战。大多数现有的多模态对齐方法通常通过微调LLM或同时添加静态适配器来处理这些结构。然而，这些方法有两个主要局限：（1）它优化了所有分子输入的共享参数空间，限制了模型捕捉实例特定结构特征的能力；（2）针对分子任务微调LLM可能导致灾难性遗忘，削弱其通用推理能力。在本文中，我们提出了一种针对每个分子在线的实例特定参数空间对齐方法，而非静态任务导向适配。为此，我们引入了分子感知低秩适配（MoRA），为每个输入分子图生成一组独特的低秩适配权重。这些权重随后被动态注入到冻结的LLM中，使模型能够根据每个分子输入的结构调整其推理，同时保留LLM的核心知识。大量实验表明，在化学反应预测和分子描述生成等关键分子任务上，MoRA的实例特定动态适配优于静态适配基线，包括反应预测精确匹配率相对提升14.1%以及量子性质预测误差降低22%。代码可在 https://github.com/jk-sounds/MoRA 获取。
引用
@article{arxiv.2510.12245,
title = {MoRA: On-the-fly Molecule-aware Low-Rank Adaptation Framework for LLM-based Multi-Modal Molecular Assistant},
author = {Tao Yin and Xiaohong Zhang and Jiacheng Zhang and Li Huang and Zhibin Zhang and Yuansong Zeng and Jin Xie and Meng Yan},
journal= {arXiv preprint arXiv:2510.12245},
year = {2025}
}