基于结构化上下文学习的通用事件边界检测

通用事件边界检测 (GEBD) 旨在识别视频中人类感知为事件边界的时刻。本文提出了一种新方法，称为结构化上下文学习 (Structured Context Learning)，引入序列分区结构 (Structured Partition of Sequence, SPoS) 为学习时序信息提供结构化上下文。我们的做法是端到端可训练且灵活，不局限于特定时序模型如 GRU、LSTM 和 Transformer。这种灵活性使我们能够实现更好的速度-精度权衡。具体而言，我们将 SPoS 应用于输入帧序列的分区，并为后续时序模型提供结构化上下文。值得注意的是，SPoS 的总计算复杂度随视频长度呈线性关系。随后，我们计算组间相似性以捕捉帧之间的差异，并利用轻量级全卷积网络基于分组相似性图确定事件边界。为弥补边界标注的歧义，我们采用高斯核对 ground-truth 事件边界进行预处理。我们的方法在具有挑战性的 Kinetics-GEBD、TAPOS 和镜头转换检测数据集上进行了广泛评估，显示出优于现有最先进方法的优势。