ChemDFM-X：迈向化学领域的大型多模态模型
机器学习
2025-01-03 v2 计算与语言
多媒体
摘要
人工智能工具的快速发展有望为包括化学在内的自然科学研究提供前所未有的辅助。然而，现有的单模态任务专用模型与新兴的通用大型多模态模型（LMM）均无法涵盖广泛的化学数据模态与任务类别。为满足化学家的实际需求，亟需一种跨模态化学通用智能（CGI）系统，利用 LMM 的巨大潜力作为真正实用且有用的研究助手。在本工作中，我们引入了首个面向化学的跨模态对话基础模型（ChemDFM-X）。通过近似计算与任务专用模型预测，从初始模态生成了多样化的多模态数据。这一策略创建了充足的化学训练语料库，同时显著减少了过度开销，生成了一个包含 760 万条数据的指令微调数据集。经过指令微调后，ChemDFM-X 在涉及不同数据模态的广泛化学任务实验中进行了评估。结果展示了 ChemDFM-X 在多模态与跨模态知识理解方面的能力。ChemDFM-X 标志着在化学领域对齐所有模态的重要里程碑，向 CGI 迈近了一步。
引用
@article{arxiv.2409.13194,
title = {ChemDFM-X: Towards Large Multimodal Model for Chemistry},
author = {Zihan Zhao and Bo Chen and Jingpiao Li and Lu Chen and Liyang Wen and Pengyu Wang and Zichen Zhu and Danyang Zhang and Ziping Wan and Yansi Li and Zhongyang Dai and Xin Chen and Kai Yu},
journal= {arXiv preprint arXiv:2409.13194},
year = {2025}
}
备注
19 pages, 7 figures, 11 tables