整体化学评估揭示反应预测模型中的缺陷
化学物理
2023-12-15 v1 机器学习
摘要
近年来，由于其复杂性及在化学中的关键应用，化学反应预测在机器学习社区内引起了广泛关注。然而，针对该任务的模型评估大多局限于top-k准确率等简单指标，这些指标掩盖了模型局限性的细微细节。受其他领域进展的启发，我们提出了一种在现有方法基础上构建的新评估方案，旨在实现更整体的评估。我们为实现这一目标引入了以下关键组件：CHORISO（一个精选数据集，附带多个量身定制的划分以重现化学相关场景），以及一组提供模型优势和局限性整体视角的指标。将此方法应用于SOTA模型揭示了在敏感方面的重要差异，特别是在立体选择性和化学分布外泛化方面。我们的工作为最终能够加速化学发现的鲁棒预测模型铺平了道路。
引用
@article{arxiv.2312.09004,
title = {Holistic chemical evaluation reveals pitfalls in reaction prediction models},
author = {Victor Sabanza Gil and Andres M. Bran and Malte Franke and Remi Schlama and Jeremy S. Luterbacher and Philippe Schwaller},
journal= {arXiv preprint arXiv:2312.09004},
year = {2023}
}
备注
17 pages, 6 figures