Metis-HOME：面向多模态推理的混合优化 Mixture-of-Experts 框架
计算机视觉与模式识别
2025-11-26 v2 人工智能
摘要
受最近 LLM 推理进展的启发，多模态推理领域取得显著进展，实现了在数学问题求解等复杂任务上的显著性能提升。尽管如此，当前的多模态大推理模型仍存在两个关键局限性：一是面对简单查询时仍采用计算密集型推理，导致效率低下；二是过度聚焦于专业推理，往往损害其更广泛的、更通用的理解能力。在本文中，我们提出了 Metis-HOME：一个混合优化 Mixture-of-Experts 框架，用于解决这一权衡。Metis-HOME 通过将原始稠密模型结构化为两个独立的专家分支来实现“混合思考”范式：一个思考分支专为复杂的多步骤推理设计，另一个非思考分支针对一般 VQA 和 OCR 等快速直接推理任务进行优化。一个轻量级可训练路由器动态分配查询到最合适的专家。我们通过改造 Qwen2.5-VL-7B 构建 MoE 架构来实例化 Metis-HOME。全面评估表明，我们的方法不仅显著提升了复杂推理能力，还改善了模型的通用能力，扭转了其他推理专用模型所见现象的恶化趋势。我们的工作建立了构建强大且通用 MLLMs 的新范式，有效解决了推理与泛化之间的普遍矛盾。代码和模型权重已在 https://github.com/MM-Thinking/Metis-HOME 提供。
引用
@article{arxiv.2510.20519,
title = {Metis-HOME: Hybrid Optimized Mixture-of-Experts for Multimodal Reasoning},
author = {Xiaohan Lan and Fanfan Liu and Haibo Qiu and Siqi Yang and Delian Ruan and Peng Shi and Lin Ma},
journal= {arXiv preprint arXiv:2510.20519},
year = {2025}
}