ChemLabs 于 ChemO：面向 IChO 2025 的多智能体系统
人工智能
2025-12-10 v2
摘要
数学和物理学科的奥林匹克级基准是高级 AI 推理的关键测试环境，但化学由于其独特的多模态符号语言，长期以来一直是未解之谜。我们提出 ChemO，一个新建构的基准，源自国际化学奥林匹克（IChO）2025。ChemO 具备两个关键创新：Assessment-Equivalent Reformulation（AER），将需要视觉输出（如绘制分子）的问题转换为可计算格式；以及 Structured Visual Enhancement（SVE），一种诊断机制，用于 disentangle 模型的视觉感知能力与其核心化学推理能力。为解决此基准，我们提出 ChemLabs，一个层次化的多智能体框架，通过专门的智能体进行问题分解、感知、推理和审计，模拟人类专家协作。在面向最先进的多模态模型的实验中，结合 SVE 与我们的多智能体系统可实现显著的性能提升。我们的顶级配置取得 100 分满分的 93.6 分的成绩，超越了估计的人类金牌线阈值，树立了自动化化学问题解决的新标杆。ChemO 数据集：https://huggingface.co/datasets/IDEA-AI4SCI/ChemO
引用
@article{arxiv.2511.16205,
title = {ChemLabs on ChemO: A Multi-Agent System for Multimodal Reasoning on IChO 2025},
author = {Qiang Xu and Shengyuan Bai and Leqing Chen and Zijing Liu and Yu Li},
journal= {arXiv preprint arXiv:2511.16205},
year = {2025}
}
备注
13 pages, 1 figures