MMhops-R1：多模态多跳推理

通过跨各种模态和外部知识迭代整合信息来执行多模态多跳推理的能力，对于应对现实世界中的复杂挑战至关重要。然而，现有的多模态大语言模型（MLLMs）主要局限于单步推理，因为现有的基准缺乏评估和驱动多跳能力所需的复杂性。为了弥合这一差距，我们引入了 MMhops，这是一个新颖的、大规模的基准，旨在系统地评估和促进多模态多跳推理。MMhops 数据集包含两种具有挑战性的任务格式：桥接和比较，这要求模型通过整合外部知识来动态构建复杂的推理链。为了应对 MMhops 带来的挑战，我们提出了 MMhops-R1，一个用于动态推理的新颖的多模态检索增强生成（mRAG）框架。我们的框架利用强化学习来优化模型，使其能够自主规划推理路径、制定有针对性的查询，并综合多层次信息。综合实验表明，MMhops-R1 在 MMhops 上显著优于强基线，突显了动态规划和多模态知识整合对于复杂推理至关重要。此外，MMhops-R1 对需要固定跳数推理的任务表现出强大的泛化能力，强调了我们的动态规划方法的鲁棒性。总之，我们的工作贡献了一个具有挑战性的新基准和一个强大的基线模型，我们将发布相关的代码、数据和权重，以促进这一关键领域的未来研究。