MovieCORE：电影中的认知推理

本文介绍了 MovieCORE，一个新颖的视频问答（VQA）数据集，旨在探究对电影内容的深层认知理解。与关注表层理解的现有数据集不同，MovieCORE 强调能够引发 System-2 思维且仍与视频素材紧密相关的问题。我们提出了一种创新的智能体头脑风暴方法，利用多个大语言模型（LLM）作为思维智能体来生成和精炼高质量的问答对。为评估数据集质量，我们开发了一套认知测试，以评估深度、启发思考潜力以及句法复杂性。我们还提出了一套全面的评估方案，用于评估 VQA 模型在更深层次认知任务上的表现。为了解决现有视频语言模型（VLM）的局限性，我们引入了智能体增强模块 Agentic Choice Enhancement (ACE)，该模块在训练后可将模型推理能力提升高达 25%。我们的工作推动了 AI 系统对电影的理解，并针对当前 VQA 模型在面对更具挑战性、更细致的电影内容问题时的能力与局限性提供了宝贵见解。我们的项目页面、数据集和代码可在 https://joslefaure.github.io/assets/html/moviecore.html 获取。