MALT：面向在线动作检测的多尺度动作学习变换器

在线动作检测（Online Action Detection, OAD）旨在从实时流式视频中识别进行中的动作，且无需访问未来的帧。由于这些动作呈现出从粗粒度到细粒度的多尺度变化，将整个动作帧集合投影到单个潜在编码可能导致局部信息不足， necessitating 跨多个尺度获取动作特征。本文提出了一种多尺度动作学习变换器（Multi-scale Action Learning Transformer, MALT），其中包括一种新颖的递归解码器（用于特征融合），该解码器参数更少且训练更高效。进一步提出了具有多个编码分支的层次化编码器，以捕获多尺度动作特征。前一分支的输出随后逐步输入后续分支，作为交叉注意力计算的一部分。如此一来，随着分支的深度加深，输出特征从粗到细逐渐演变。我们还引入了采用稀疏注意力的显式帧评分机制，能够更高效地筛选无关帧，且无需额外的网络。该方法在两个基准数据集（THUMOS'14 和 TVSeries）上实现了最先进的性能，THUMOS'14 的 mAP提升了0.2%，TVSeries 的 mcAP提升了0.1%。