KFS-Bench：长视频理解中关键帧采样的全面评估基准

我们提出了 KFS-Bench，这是首个针对长视频问答中关键帧采样的基准测试， featuring 多场景标注，旨在启用对采样策略的直接且稳健的评估。关键帧采样对于高效的长视频理解至关重要。在长视频问答中，选择信息丰富的帧可以帮助多模态大语言模型（MLLMs）在准确性和效率之间取得提升。KFS-Bench 解决了以前工作仅通过问答准确率间接评估帧选择质量的局限性。通过提供每个问题所需的多个互不重叠场景的ground-truth标注，KFS-Bench 允许我们直接分析不同采样方法如何在整个长视频中捕获关键内容。使用 KFS-Bench，我们对关键帧采样方法进行了全面研究，确定不仅采样精度，而且场景覆盖率和采样平衡性是影响问答性能的关键因素。就所有因素而言，我们设计了一种与问答准确率相关的新型采样质量指标。此外，我们开发了一种新型关键帧采样方法，利用问题-视频相关性在采样多样性与问题-帧相似性之间进行平衡，从而提高相关场景的覆盖率。我们的自适应平衡采样方法在关键帧采样和问答性能方面均取得优异成绩。该基准已发布于 https://github.com/NEC-VID/KFS-Bench。