基于代理推理与时序 grounding 的开放式视频游戏故障检测

开放式视频游戏故障检测旨在识别游戏播放视频中的故障，自然语言描述故障，并定位其发生时间。不同于传统游戏故障理解任务（通常以图像级识别或封闭形式问答形式呈现），此任务要求直接对连续游戏播放视频进行推理，理解 game-specific dynamics 包括机制、物理、渲染、动画以及预期状态转换，并区分真实故障与异常但有效的游戏事件。为支持此任务，我们引入 VideoGlitchBench，首个针对开放式视频游戏故障检测的时序局部化基准。VideoGlitchBench 包含 5,238 份来自 120 款游戏的 gameplay 视频，每段视频均标注详细故障描述和精确时序范围，实现语义理解与时序局部化的统一评估。我们进一步提出 GliDe，一个具代理特性的框架，包含三个关键组件：面向 game 的上下文记忆以进行 informed 推理、基于辩论的反思者用于多视角故障检测与验证，以及事件级 grounding 模块从碎片化时序证据中恢复完整故障区间。我们设计了特定于该任务的评估协议，联合衡量语义忠实度与时序准确性。实验表明，此任务对当前多模态模型仍 highly 具有挑战性，而 GliDe 在所有 vanilla model 基线上实现显著优异性能。