开发 ChemDFM：面向化学领域的大型语言基础模型

人工智能（AI）在化学研究中扮演着越来越重要的角色。然而，当前化学领域使用的大多数模型都是专用模型，需要针对特定任务进行训练和微调。一个更通用且高效的解决方案是拥有一个能够处理多种任务并支持化学广泛领域内自由形式对话的 AI 模型。在其最高形态下，这种通用的 AI 化学家可被称为化学通用智能。大型语言模型（LLMs）近期在自然语言处理的通用领域取得了巨大成功，展现出新兴的任务泛化能力和自由形式对话能力。然而，在训练通用领域 LLMs 时，化学领域知识在很大程度上是缺失的。这种知识的缺乏极大地阻碍了通用 LLMs 在化学领域的表现。为此，我们开发了 ChemDFM，这是一个开创性的化学 LLM，基于 340 亿个来自化学文献和教科书的 token 进行训练，并使用 270 万条指令进行微调。因此，它能够在自由形式对话中理解和推理化学知识。定量评估表明，ChemDFM 显著超越了大多数具有代表性的开源 LLMs。尽管模型规模存在巨大差异，它在大部分化学任务上仍优于 GPT-4。我们已在 Huggingface (https://huggingface.co/OpenDFM/ChemDFM-v1.0-13B) 上开源了 ChemDFM 的推理代码、评估数据集和模型权重。