MoReVQA：探索用于视频问答的模块化推理模型

本文通过分解的多阶段模块化推理框架来解决视频问答任务。以往的模块化方法在单一规划阶段中显示出前景，但未与视觉内容结合。然而，通过一个简单有效的基线，我们发现此类系统在具有挑战性的 videoQA 设置中实际应用时会导致脆弱的行为。因此，不同于传统的单阶段规划方法，我们提出了一个多阶段系统，包含事件解析器、定位阶段和与外部记忆结合的最终推理阶段。所有阶段均无需训练，并使用大模型的少样本提示执行，在每个阶段创建可解释的中间输出。通过分解底层的规划和任务复杂性，我们的方法 MoReVQA 在标准 videoQA 基准（NExT-QA、iVQA、EgoSchema、ActivityNet-QA）上改进了先前的工作并取得了 SOTA 结果，且可扩展至相关任务（grounded videoQA、段落描述）。