ReactionT5：面向有限反应数据应用的大规模预训练模型
化学物理
2023-11-14 v1 机器学习
摘要
基于 Transformer 的深度神经网络通过将分子视为符号序列，已经革新了分子相关预测任务的领域。这些模型通过在大型化合物库上预训练并随后使用较小的内部数据集针对特定任务微调，已成功应用于各类有机化学应用中。然而，许多传统方法主要关注单个分子，对涉及多个分子反应的预训练探索有限。本文中，我们提出 ReactionT5，一种利用公开可用大规模资源 Open Reaction Database（ORD）进行预训练的新型模型。我们进一步将该模型微调用于产率预测和产物预测任务，证明其即便在有限微调数据下相较传统模型也具有令人印象深刻的性能。预训练的 ReactionT5 模型在 Hugging Face 平台上公开可用。
引用
@article{arxiv.2311.06708,
title = {ReactionT5: a large-scale pre-trained model towards application of limited reaction data},
author = {Tatsuya Sagawa and Ryosuke Kojima},
journal= {arXiv preprint arXiv:2311.06708},
year = {2023}
}