用于通用事件边界检测的结构化上下文Transformer
计算机视觉与模式识别
2022-06-08 v1
摘要
通用事件边界检测（GEBD）旨在检测人类自然感知为事件边界的时刻。本文提出结构化上下文Transformer（SC-Transformer）以解决GEBD任务，其可以端到端方式训练。具体而言，我们使用骨干卷积神经网络（CNN）提取每帧视频的特征。为捕获每帧的时间上下文信息，我们通过重新划分输入帧序列设计了结构化上下文Transformer（SC-Transformer）。需注意，SC-Transformer的整体计算复杂度与视频长度呈线性关系。此后，计算组间相似度以捕获帧间差异。随后，使用轻量级全卷积网络基于分组相似度图判定事件边界。为弥补边界标注的歧义性，采用高斯核对真实事件边界进行预处理以进一步提升精度。在具有挑战性的Kinetics-GEBD与TAPOS数据集上的大量实验表明，相较于最先进的方法，所提方法具有有效性。
引用
@article{arxiv.2206.02985,
title = {Structured Context Transformer for Generic Event Boundary Detection},
author = {Congcong Li and Xinyao Wang and Dexiang Hong and Yufei Wang and Libo Zhang and Tiejian Luo and Longyin Wen},
journal= {arXiv preprint arXiv:2206.02985},
year = {2022}
}