SwimBird：混合自回归 MLLM 中的可切换推理模式
计算机视觉与模式识别
2026-02-06 v1
摘要
多模态大语言模型（MLLM）在跨模态感知和推理方面取得了显著进展，通过桥接视觉与语言实现。然而，大多数现有 MLLM主要使用文本链步（CoT）进行推理，这限制了其在视觉密集型任务上的效能。最近的一些方法尝试在推理过程中注入固定数量的连续隐藏状态作为“视觉思考”，以提高视觉性能，但往往以牺牲基于文本的逻辑推理为代价。我们认为，核心限制在于刚性、预定义的推理模式，无法根据不同用户查询自适应地选择最合适的思考模式。我们引入SwimBird，一个可切换推理模式的 MLLM，能够根据输入动态地在三种推理模式之间切换：（1）文本-only 推理，（2）视觉-only 推理（将连续隐藏状态作为视觉思考），（3）交替进行视觉-文本推理。为实现此功能，我们采用混合自回归公式，将文本思考的下一个标记预测与视觉思考的下一个嵌入预测统一起来，并设计了一套系统化的推理模式精选策略，以构建覆盖所有三种推理模式的SwimBird-SFT-92K数据集。通过实现灵活、查询自适应的模式选择，SwimBird在保持强大文本逻辑推理能力的同时，显著提升了视觉密集型任务上的性能。跨越覆盖文本推理和具有挑战性视觉理解的多样化基准测试，SwimBird实现了状态最佳成绩，并在先前固定模式的多模态推理方法上实现稳健的性能提升。
引用
@article{arxiv.2602.06040,
title = {SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs},
author = {Jintao Tong and Shilin Yan and Hongwei Xue and Xiaojun Tang and Kunyu Shi and Guannan Zhang and Ruixuan Li and Yixiong Zou},
journal= {arXiv preprint arXiv:2602.06040},
year = {2026}
}
备注
Project Page: https://accio-lab.github.io/SwimBird