挑战反应预测模型向新化学的泛化能力
机器学习
2025-01-14 v1 化学物理
摘要
用于预测有机反应产物的深度学习模型已有许多应用案例，包括验证逆向合成路径和约束基于合成的分子设计工具。尽管在流行的基准任务上表现出色，但在实际使用这些模型时，有时会出现奇怪且错误的预测。核心问题在于，常见基准测试是在分布内设置下测试模型，而这些模型在现实世界中的许多用途处于分布外设置，并需要更大程度的推断。为了更好地理解当前反应预测器在分布外领域的工作方式，我们报告了对典型的基于 SMILES 的深度学习模型的一系列更具挑战性的评估。首先，我们说明了在随机采样数据集上的性能与泛化到新专利或新作者时的性能相比，过于乐观。其次，我们进行了时间划分，评估模型在训练集之后年份发表的反应上的表现，以模拟真实世界的部署。最后，我们考虑了跨反应类别的推断，以反映发现新反应类型所需的能力。这一系列任务可以揭示当今反应预测器的能力与局限，作为开发未来能够进行反应发现的下一代模型的关键第一步。
引用
@article{arxiv.2501.06669,
title = {Challenging reaction prediction models to generalize to novel chemistry},
author = {John Bradshaw and Anji Zhang and Babak Mahjour and David E. Graff and Marwin H. S. Segler and Connor W. Coley},
journal= {arXiv preprint arXiv:2501.06669},
year = {2025}
}