ChemPro：面向大语言模型的渐进化化学基准
计算与语言
2026-04-22 v4
摘要
我们介绍 ChemPro，这是一个包含 4100 组自然语言问答对的渐进化化学基准，覆盖化学中4个连贯难度层次，旨在评估大语言模型（LLM）在广泛化学主题上的熟练程度。基准包含多选题与数值题，涵盖细粒度信息检索、长程推理、多概念问题、含细致表述的问题解决以及基础问题，以均衡的比例覆盖生物化学、无机化学、有机化学和物理化学。ChemPro 的设计类似于学生从基础到高中化学的学术评估，通过严格的难度递增，严密测试了 LLM 从解答基础问题到解决更复杂挑战的能力。我们评估了 45+7 种最新 LLM，涵盖开源与专有变体，分析结果显示，尽管 LLM 在基础化学问题上表现良好，但在不同类型和难度层次下准确率会下降。这些发现凸显了 LLM 在通用科学推理与理解方面的关键局限，指向了尚未充分研究的难度维度，强调需要更稳健的方法来提升 LLM 的能力。
引用
@article{arxiv.2602.03108,
title = {ChemPro: A Progressive Chemistry Benchmark for Large Language Models},
author = {Aaditya Baranwal and Shruti Vyas},
journal= {arXiv preprint arXiv:2602.03108},
year = {2026}
}
备注
Accepted at Artificial Intelligence Chemistry Journal