TempCore：视频问答基准是否具有时间基础？帧选择敏感度分析与基准测试
计算机视觉与模式识别
2026-03-18 v2 计算与语言
机器学习
摘要
视觉语言模型（VLM）只能摄入有限数量的视频帧，这使得帧选择成为实际上的必需操作。但当前的视频问答基准是否真正需要基于时间的帧选择，还是说大多数问题无论显示哪些帧都能被回答？我们引入了帧选择敏感度（FSS），这是一种针对单个样本的诊断方法，用于测量当最相关的帧被替换为最不相关的帧时，VLM 的准确率会发生多大变化。在六个基准和八个 VLM 上，我们发现绝大多数样本对帧不敏感：只有少数样本真正对帧选择敏感。将 FSS 与语言独立性得分（LIS）相结合后发现，仅有 8% 至 33% 的样本具有时间敏感性。我们构建了 TempCore，这是一个从现有基准中分离出这些时间样本的紧凑评估子集，并将在论文发表后发布代码和逐样本标注。
引用
@article{arxiv.2509.01167,
title = {TempCore: Are Video QA Benchmarks Temporally Grounded? A Frame Selection Sensitivity Analysis and Benchmark},
author = {Hyunjong Ok and Jaeho Lee},
journal= {arXiv preprint arXiv:2509.01167},
year = {2026}
}
备注
preprint