ChemMLLM：化学多模态大语言模型
机器学习
2025-08-05 v2
摘要
近年来，多模态大语言模型(MLLM)在许多应用领域取得了显著进展。然而，能够处理跨模态理解与生成的化学MLLM仍受到忽视。为填补这一空白，我们提出ChemMLLM，一个用于分子理解与生成的统一化学多模态大语言模型。我们设计了跨文本、分子SMILES字符串和图像的五个多模态任务，并构建了相应的数据集。我们对ChemMLLM在这些任务上与广泛领先的MLLM和化学LLM进行基准测试。实验结果表明，ChemMLLM在所有评估任务中均实现了卓越的性能。例如，在分子图像优化任务中，ChemMLLM相对于最佳基线(GPT-4o)提高了116.75%（属性提升从1.97增至4.27）。该代码已公开发布于https://github.com/bbsbz/ChemMLLM.git。
引用
@article{arxiv.2505.16326,
title = {ChemMLLM: Chemical Multimodal Large Language Model},
author = {Qian Tan and Dongzhan Zhou and Peng Xia and Wanhao Liu and Wanli Ouyang and Lei Bai and Yuqiang Li and Tianfan Fu},
journal= {arXiv preprint arXiv:2505.16326},
year = {2025}
}
备注
23 pages