ReXTime：视频中跨时间推理的基准套件

我们引入 ReXTime，一个专为测试 AI 模型在视频事件中执行时间推理能力而设计的基准测试集。具体而言，ReXTime 聚焦于跨时间推理，即当问题及其对应答案在不同视频片段中发生时的人类水平理解。这种形式的推理需要对视频片段之间因果关系的深入理解，甚至连当前前沿多模态大语言模型都提出了重大挑战。为促进此评估，我们开发了一个自动生成时间推理问答对的管道，显著减少了对高强度人工标注的需求。我们的基准包括 921 个经过严格审核的验证样本和 2143 个测试样本，每个样本都经过人工审核以确保准确性和相关性。评估结果显示，尽管前沿大语言模型在性能上超过学术模型，但仍比人类水平低出 14.3% 的准确率差距。此外，我们的管道创建了一个由 9695 个机器生成样本组成的训练数据集，无需人工标注，经验研究表明可通过微调来增强跨时间推理能力。