基于智能体强化学习的化学语言模型：为分子设计与合成赋能
机器学习
2026-02-02 v2 人工智能
摘要
语言模型正在 revolutionize 生物化学领域，高效辅助科学家进行药物设计和化学合成。然而，当前方法在小型语言模型易产生幻觉和知识存储有限，以及大型云端语言模型隐私风险高和推理成本高之间存在挑战。为填补这一鸿沟，我们引入 ChemCRAFT，一个基于智能体强化学习的新型框架，将化学推理与知识存储解耦。通过与沙盒交互，语言模型进行精确信息检索，而非强迫模型记忆海量化学数据。这一外部化知识存储的做法允许在本地部署的小型模型实现卓越的性能，同时拥有最小的推理成本。为支持小型语言模型具备智能体调用能力，我们构建了智能体轨迹构建管道和全面的化学智能体沙盒。基于沙盒交互，我们构建了 ChemToolDataset，即首个大规模化学工具轨迹数据集。同时，我们提出 SMILES-GRPO 以构建稠密化学奖励函数，促进模型调用化学智能体。跨药物设计多个维度的评估表明，ChemCRAFT 在分子结构分析、分子优化和合成路径预测方面超越当前基于云端的大型语言模型，表明科学推理并非模型规模的必然涌现能力，而是可学习的工具编排策略。本工作建立了面向 AI 辅助化学的成本效益高、隐私可靠的范式，为加速分子发现开辟了以本地部署智能体为主的新路径。代码地址：https://github.com/HowardLi1984/ChemCraft。
引用
@article{arxiv.2601.17687,
title = {Agentic reinforcement learning empowers next-generation chemical language models for molecular design and synthesis},
author = {Hao Li and He Cao and Shenyao Peng and Zijing Liu and Bin Feng and Yu Wang and Zhiyuan Yan and Yonghong Tian and Yu Li and Li Yuan},
journal= {arXiv preprint arXiv:2601.17687},
year = {2026}
}
备注
Working in Progress, 13 pages, 4 figures