时序感知器：一种用于任意边界检测的通用架构
计算机视觉与模式识别
2022-10-06 v2
摘要
通用边界检测(Generic Boundary Detection, GBD)旨在定位将视频划分为语义连贯且无分类学限制单元的一般边界，可作为长视频理解的重要预处理步骤。以往工作通常使用从简单CNN到LSTM的特定深度网络设计，分别处理这些不同类型的通用边界。相反，本文提出了时序感知器(Temporal Perceiver)，一种基于Transformer的通用架构，为从镜头级、事件级到场景级GBD的任意通用边界检测提供了统一解决方案。其核心设计是引入一小组潜在特征查询作为锚点，通过交叉注意力块将冗余的视频输入压缩到固定维度。得益于固定数量的潜在单元，它极大地将注意力操作的二次复杂度降低为输入帧的线性形式。具体而言，为了显式利用视频的时序结构，我们构建了两种类型的潜在特征查询：边界查询和上下文查询，分别处理语义不连贯性和连贯性。此外，为了指导潜在特征查询的学习，我们在交叉注意力图上提出了一种对齐损失，以显式鼓励边界查询关注最可能的边界候选。最后，我们在压缩表示上提出了一个稀疏检测头，直接输出最终的边界检测结果，无需任何后处理模块。我们在各种GBD基准上测试了时序感知器。我们的方法在所有基准上使用RGB单流特征均取得了最先进的结果：SoccerNet-v2 (81.9% avg-mAP)、Kinetics-GEBD (86.0% avg-f1)、TAPOS (73.2% avg-f1)、MovieScenes (51.9% AP 和 53.1% Miou) 以及 MovieNet (53.3% AP 和 53.2% Miou)，证明了时序感知器的泛化能力。
引用
@article{arxiv.2203.00307,
title = {Temporal Perceiver: A General Architecture for Arbitrary Boundary Detection},
author = {Jing Tan and Yuhong Wang and Gangshan Wu and Limin Wang},
journal= {arXiv preprint arXiv:2203.00307},
year = {2022}
}