哪个方向时间流动？基于心理物理学的视觉-语言模型评估
计算机视觉与模式识别
2026-04-10 v5 计算与语言
摘要
现代视觉-语言模型（VLMs）在许多多模态任务中表现出色，但对视频中时间信息的把握仍然薄弱且尚未得到充分评估。我们以一个看似简单却具有揭示性的挑战为手段：判断短片是正向播放还是反向播放——即判断时间之箇（AoT）。我们引入 AoT-PsyPhyBENCH，这是一个经过心理物理学验证的基准测试，测试 VLMs 能否在自然视频中推断时间方向，使用与人类相同的刺激和行为基线。我们对开源和专有、推理和非推理 VLMs 进行全面评估，结果显示大多数模型表现不佳，即使是最好的模型也远远落后于人类在物理不可逆过程（如自由落体、扩散/爆炸）和因果手动动作（分割/添加）上几乎立即识别出的准确率。这些结果凸显了当前多模态系统的根本性缺陷：虽然它们捕获了丰富的视觉-语义相关性，但缺乏实现时间连续性和因果理解所必需的归纳偏置。我们发布代码和数据以鼓励进一步进步，提升 VLMs 在物理和时间推理能力。
引用
@article{arxiv.2510.26241,
title = {Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models},
author = {Shiho Matta and Lis Kanashiro Pereira and Peitao Han and Fei Cheng and Shigeru Kitazawa},
journal= {arXiv preprint arXiv:2510.26241},
year = {2026}
}
备注
12 pages