一名主管，多模态：自主查询的自适应工具编排
计算与语言
2026-03-16 v2 人工智能
机器学习
摘要
我们提出一个用于自主多模态查询处理的智能体框架，协调文本、图像、音频、视频和文档等不同模态的专用工具。中心监督者动态分解用户查询，分派子任务至合适模态的工具（如目标检测、OCR、语音转录），并通过自适应路由策略而非预设决策树进行结果综合。对于文本查询，框架使用通过 RouteLLM 学习的路由；而非文本路径则采用 SLM 辅助的模态分解。我们在 2,847 条跨 15 个任务类别的查询上进行评估，结果显示该框架较匹配的层次化基线实现了 72% 的准确答案时间缩短、85% 的对话式重做减少以及 67% 的成本降低，同时保持准确率持平。这些结果表明，智能的集中式编排在多模态 AI 部署经济学中具有根本性的改进作用。
引用
@article{arxiv.2603.11545,
title = {One Supervisor, Many Modalities: Adaptive Tool Orchestration for Autonomous Queries},
author = {Mayank Saini and Arit Kumar Bishwas},
journal= {arXiv preprint arXiv:2603.11545},
year = {2026}
}
备注
19 pages, 3 figures; v2: corrected author metadata