Octopus：具六维能力编排的智能多模态推理
人工智能
2025-12-15 v2 计算机视觉与模式识别
摘要
现有的多模态推理模型和框架存在根本性的架构局限：大多数缺乏类人在各种推理路径上自主探索的能力——无论是直接推理、工具驱动的视觉探索、程序化视觉操作，还是内在的视觉想象。因此，他们难以适应实际任务中动态变化的能力需求。与此同时，人类在解决此类任务时展现出一组互补的思维能力，而现有方法通常仅覆盖这些维度的子集。鼓舞人心之下，我们提出了 Octopus：具六维能力编排的智能多模态推理，这是一种新的多模态 agentic 推理范式。我们定义了多模态推理中六个核心能力，并据此组织了全面的评估基准 Octopus-Bench。Octopus 能够在推理过程中自主探索，并根据当前状态动态选择最合适的能力。实验结果表明，Octopus 在 Octopus-Bench 中绝大多数任务上实现了最佳性能，凸显了能力协调在 agentic 多模态推理中的关键作用。
引用
@article{arxiv.2511.15351,
title = {Octopus: Agentic Multimodal Reasoning with Six-Capability Orchestration},
author = {Yifu Guo and Zishan Xu and Zhiyuan Yao and Yuquan Lu and Jiaye Lin and Sen Hu and Zhenheng Tang and Huacan Wang and Ronghao Chen},
journal= {arXiv preprint arXiv:2511.15351},
year = {2025}
}