Corvid：提高多模态大语言模型的链路思考推理能力
计算机视觉与模式识别
2025-07-11 v1
摘要
近期多模态大语言模型（MLLMs）的进展已显示出在多模态感知和理解方面的卓越性能。然而，领先的开源 MLLMs 在复杂和结构化推理方面存在显著局限，尤其是在需要深度推理以做出决策和解决问题的任务中。本文提出了 Corvid，一个具备增强链路思考（CoT）推理能力的 MLLM。从结构上讲，Corvid 包含一个混合视觉编码器用于信息丰富的视觉表示，以及精心设计的连接器（GateMixer）以促进跨模态对齐。为增强 Corvid 的 CoT 推理能力，我们引入 MCoT-Instruct-287K，一个从 diverse public reasoning sources 中提炼、标准化的高质量多模态 CoT 指令跟随数据集。利用该数据集，我们采用两阶段 CoT 格式化训练方法逐步增强其逐步推理能力。此外，我们提出一种有效的推理时间扩展策略，使 Corvid 能够通过自我验证来缓解过度推理和不足推理。广泛的实验表明，Corvid 在类似参数规模的现有 o1-like MLLMs 和最先进的 MLLMs 中均表现优异，在数学推理和科学问题解决方面尤为突出。项目页面：https://mm-vl.github.io/corvid。
引用
@article{arxiv.2507.07424,
title = {Corvid: Improving Multimodal Large Language Models Towards Chain-of-Thought Reasoning},
author = {Jingjing Jiang and Chao Ma and Xurui Song and Hanwang Zhang and Jun Luo},
journal= {arXiv preprint arXiv:2507.07424},
year = {2025}
}
备注
ICCV 2025