基于化学X基准测试智能体系统在自动化科学信息提取中的基准测试
人工智能
2025-10-02 v1
摘要
智能体系统的出现代表了人工智能的重大进展，正在在自动化数据提取领域获得广泛应用。然而，由于化学数据的本质异质性，化学信息提取仍然是一个巨大的挑战。现有的智能体方法，无论是通用型还是领域特定型，在此领域的表现有限。为填补这一差距，我们提出ChemX，一套全新人工精选并由领域专家验证的10个数据集，聚焦纳米材料和小分子。这些数据集旨在严格评估和提升化学领域的自动化提取方法。为演示其实用性，我们进行了广泛的基准测试研究，比较现有最先进的智能体系统，如ChatGPT Agent和化学专用数据提取智能体。此外，我们引入了自己的方法，通过单智能体实现对文档预处理的精确控制。我们进一步评估了现代基线模型，如GPT-5和GPT-5 Thinking，以比较其 capabilities 与智能体方法的能力。我们的实证发现揭示了化学信息提取中的持久挑战，特别是在处理领域特定术语、复杂表格和图示表示，以及上下文依赖性歧义方面。ChemX基准测试为推动化学领域的自动化信息提取提供了关键资源，挑战现有方法的泛化能力，并提供有价值的洞察，以制定有效的评估策略。
引用
@article{arxiv.2510.00795,
title = {Benchmarking Agentic Systems in Automated Scientific Information Extraction with ChemX},
author = {Anastasia Vepreva and Julia Razlivina and Maria Eremeeva and Nina Gubina and Anastasia Orlova and Aleksei Dmitrenko and Ksenya Kapranova and Susan Jyakhwo and Nikita Vasilev and Arsen Sarkisyan and Ivan Yu. Chernyshov and Vladimir Vinogradov and Andrei Dmitrenko},
journal= {arXiv preprint arXiv:2510.00795},
year = {2025}
}
备注
Accepted at The AI for Accelerated Materials Discovery (AI4Mat) Workshop, NeurIPS 2025