化学反应预测的模块化多任务学习
机器学习
2026-02-12 v1 人工智能
计算与语言
摘要
将在广泛有机化学领域训练的大语言模型（LLM）适配到较小、领域特定的反应数据集是化学和制药 R&D 中的一个关键挑战。有效的专业化需要在学习新反应知识的同时，保留跨相关任务的通用化学理解。本文评估了低秩适应（LoRA）作为有机反应预测在有限复杂数据集上进行参数高效替代方案的效果。我们使用 USPTO 反应类别和具有挑战性的 C-H 功能化反应，对进行 forward 反应预测、反向合成和试剂预测进行基准测试。LoRA 在准确率上与完整微调相当，同时有效缓解了灾难性遗忘，更好地保留了多任务性能。两种微调方法都能超出训练分布，产生可信的替代溶剂预测。值得注意的是，C-H 功能化微调结果表明，LoRA 和完整微调在编码 subtly 不同的活性模式方面存在差异，表明 LoRA 可能实现更有效的反应特定适应。随着 LLM 的不断规模化，我们的结果凸显了在化学应用中部署模块化、参数高效微调策略的实用性。
引用
@article{arxiv.2602.10404,
title = {Modular Multi-Task Learning for Chemical Reaction Prediction},
author = {Jiayun Pang and Ahmed M. Zaitoun and Xacobe Couso Cambeiro and Ivan Vulić},
journal= {arXiv preprint arXiv:2602.10404},
year = {2026}
}
备注
19 pages, 7 figures