面向 LLM 代理的 Schema First 工具 API：关于工具滥用、恢复与预算性能的受控研究
软件工程
2026-03-17 v1 人工智能
摘要
工具使用已成为现代 LLM 代理的核心主题，但接口设计极少被单独作为实验变量进行研究。本文研究了基于模式的工具合同和结构化验证诊断是否在严格的交互预算下提高可靠性。我们评估了三个条件，保持相同的工具语义和信息内容：自由形式文档、JSON Schema 规范以及带有结构化诊断的 JSON Schema。我们实现了一个具有日志、指标、配置和仓库任务的确定性软件工程沙箱，并对一个开放式本地模型进行了完全交叉的小规模实验：包含一个开放型本地模型、三个随机种子、三个接口条件以及四个预算。我们报告了终端任务成功率、接口滥用、执行失败、语义滥用、恢复行为以及开销。在本 pilot 研究中，尽管所有条件的成功率为零，Schema 条件仍能减少接口滥用，但未能减少语义滥用。该证据支持一种精确的解释：接口形式化化可以提高合同遵从率，但在受限的本地推理下，语义行动质量和超时敏感任务仍是主要瓶颈。
引用
@article{arxiv.2603.13404,
title = {Schema First Tool APIs for LLM Agents: A Controlled Study of Tool Misuse, Recovery, and Budgeted Performance},
author = {Akshey Sigdel and Rista Baral},
journal= {arXiv preprint arXiv:2603.13404},
year = {2026}
}