单次检测时序动作识别

时序动作检测是一个非常重要但具有挑战性的问题，因为实际应用中的视频通常很长、未修剪且包含多个动作实例。该问题不仅需要识别动作类别，还需要检测每个动作实例的开始时间和结束时间。许多最先进的方法采用“通过分类进行检测”的框架：首先生成候选区域，然后对候选区域进行分类。该框架的主要缺点是动作实例候选区域的边界在分类步骤中已被固定。为了解决这个问题，我们提出了一种基于 1D 时序卷积层的新型单次动作检测器（SSAD）网络，通过直接在未修剪视频中检测动作实例来跳过候选区域生成步骤。为了设计一个能有效进行时序动作检测的特定 SSAD 网络，由于缺乏可直接采用的现有模型，我们实证搜索了 SSAD 的最佳网络架构。此外，我们研究了输入特征类型和融合策略，以进一步提高检测精度。我们在两个具有挑战性的数据集 THUMOS 2014 和 MEXaction2 上进行了广泛的实验。在评估时将交并比（Intersection-over-Union）阈值设为 0.5 时，SSAD 显著优于其他最先进系统，在 THUMOS 2014 上将平均精度（mAP）从 19.0% 提高到 24.6%，在 MEXaction2 上从 7.4% 提高到 11.0%。