中文

STEC:用于评估抽样视频帧的无参考时空熵覆盖度指标

计算机视觉与模式识别 2026-01-21 v1

摘要

帧抽样是视频理解和视频-语言模型管道中的一个基本组成部分,但评估抽样帧的质量仍然具有挑战性。现有的评估指标主要关注感知质量或重建保真度,未针对抽样帧是否充分捕获信息丰富且具代表性的视频内容而设计。我们提出了时空熵覆盖度(STEC),这是一种简单且无参考的视频帧抽样效果评估指标。STEC基于时空帧熵(STFE),后者通过熵基方法测量每帧的空间信息,评估抽样帧的时序覆盖度和冗余度。通过联合建模空间信息强度、时序离散程度和非冗余性,STEC为抽样质量提供了原则且轻量级的衡量标准。在MSR-VTT test-1k基准上的实验表明,STEC能够清晰区分常见的抽样策略,包括随机抽样、均匀抽样和内容感知方法。我们进一步展示,STEC揭示了在仅凭平均性能无法捕捉的单个视频之间的鲁棒性模式,凸显了其作为高效视频理解通用评估工具的实际价值。我们强调,STEC旨不是预测下游任务准确率,而是为分析受限预算下帧抽样行为提供任务无关的诊断信号。

关键词

引用

@article{arxiv.2601.13974,
  title  = {STEC: A Reference-Free Spatio-Temporal Entropy Coverage Metric for Evaluating Sampled Video Frames},
  author = {Shih-Yao Lin},
  journal= {arXiv preprint arXiv:2601.13974},
  year   = {2026}
}

备注

This paper corresponds to the camera-ready version of a WACV 2026 Workshop paper