ETOM：MCP 生态系统中 LLM 代理工具编排的五层基准
人工智能
2026-01-21 v2
摘要
我们提出 ETOM，这是一个用于评估 LLM 代理在分层模型-上下文协议（MCP）生态系统中进行多跳、端到端工具编排的五层基准。现有基准常常在孤立评估工具，忽视功能重叠和跨服务器编排等挑战，导致评估过于乐观。ETOM 通过构建“等功能集合”来生成基准，实现客观指标（如 F1 分数），减少对 LLM 作为评判者的依赖。其五层课程系统性地测试代理能力，从单工具编排到复杂的跨服务器规划，以及对超出范围请求的鲁棒性。实验结果表明，僵化的层级结构在缺乏协作设计策略时会限制性能，即使是最先进的代理在鲁棒性方面也存在系统性弱点。ETOM 提供了一个诊断框架，以揭示这些局限性并指导开发更具能力和效率的工具使用代理。
引用
@article{arxiv.2510.19423,
title = {ETOM: A Five-Level Benchmark for Evaluating Tool Orchestration within the MCP Ecosystem},
author = {Jia-Kai Dong and I-Wei Huang and Chun-Tin Wu and Yi-Tien Tsai},
journal= {arXiv preprint arXiv:2510.19423},
year = {2026}
}
备注
Accepted to the Findings of EACL 2026