基于金字塔特征的视频通用事件边界检测
计算机视觉与模式识别
2023-01-12 v1
摘要
通用事件边界检测（GEBD）旨在如同人类自然感知事件边界一般，将视频在广泛且多样的动作处切分为片段。本研究提出一种方法，在空间与时间维度上利用金字塔特征图考量相邻帧间相关性，构建用于视频中通用事件定位的框架。我们提取预训练 ResNet-50 在多空间维度的特征，并在时间维度上以不同视角利用，形成时间金字塔特征图。在此基础上，计算相邻帧相似度并投影，构建时间金字塔相似度特征向量。采用带一维卷积操作的解码器将这些相似度解码为融合其时间关系的新表示，用于后续边界分数估计。在 GEBD 基准数据集上的大量实验表明了我们的系统及其变体的有效性，其性能优于当前最优方法。在包含奥运体育动作长视频的 TAPOS 数据集上的补充实验，也展示了本研究相较其他方法的优越性。
引用
@article{arxiv.2301.04288,
title = {Generic Event Boundary Detection in Video with Pyramid Features},
author = {Van Thong Huynh and Hyung-Jeong Yang and Guee-Sang Lee and Soo-Hyung Kim},
journal= {arXiv preprint arXiv:2301.04288},
year = {2023}
}