ChemToolAgent：工具对化学问题求解语言智能体的影响
人工智能
2025-05-27 v3 计算工程、金融与科学
摘要
为增强大语言模型（LLM）的化学问题求解能力，已提出多种增强工具的基于 LLM 的智能体，如 ChemCrow 和 Coscientist。然而，它们的评估范围狭窄，导致对工具在多样化化学任务中的益处理解存在巨大空白。为填补这一空白，我们开发了 ChemToolAgent（在 ChemCrow 基础上增强的化学智能体），并全面评估其在专业化学任务和通用化学问题上的表现。令人惊讶的是，ChemToolAgent 并不总能持续超越其无工具的基础 LLM。结合化学专家的错误分析表明：对于合成预测等专业化学任务，应为智能体配备专用工具；但对于考试类通用化学问题，智能体利用化学知识正确推理的能力更重要，工具增强并不总是有帮助。
引用
@article{arxiv.2411.07228,
title = {ChemToolAgent: The Impact of Tools on Language Agents for Chemistry Problem Solving},
author = {Botao Yu and Frazier N. Baker and Ziru Chen and Garrett Herb and Boyu Gou and Daniel Adu-Ampratwum and Xia Ning and Huan Sun},
journal= {arXiv preprint arXiv:2411.07228},
year = {2025}
}
备注
Accepted to NAACL 2025 Findings. Previous title: Tooling or Not Tooling? The Impact of Tools on Language Agents for Chemistry Problem Solving. Based on the camera ready version, this version adds more experimental results. We also release the toolkit in ChemMCP (https://osu-nlp-group.github.io/ChemMCP), which is a continuously updated and MCP-compatible chemistry toolkit