基于金字塔区域的槽注意力网络用于时序动作提案生成
计算机视觉与模式识别
2022-06-22 v1
摘要
研究发现，时序动作提案生成旨在未修剪视频的起止帧范围内发现时序动作实例，可从恰当的时间与语义上下文利用中大幅获益。近期工作致力于通过自注意力模块考虑时间上下文与基于相似度的语义上下文。然而，它们仍受杂乱背景信息与有限上下文特征学习所困。本文提出一种新颖的基于金字塔区域的槽注意力（PRSlot）模块以解决这些问题。我们的PRSlot模块不使用相似度计算，而是以编码器-解码器方式直接学习局部关系，并基于称为\textit{槽}的输入特征注意力生成增强的局部区域表征。具体而言，在输入片段级特征上，PRSlot模块以目标片段为\textit{查询}，其周围区域为\textit{键}，随后通过并行金字塔策略聚合局部片段上下文，为每个\textit{查询-键}槽生成槽表征。基于PRSlot模块，我们提出一种新颖的基于金字塔区域的槽注意力网络，称为PRSA-Net，以学习富含时间与语义上下文的统一视觉表征，从而更好地生成提案。在两个广泛采用的THUMOS14与ActivityNet-1.3基准上进行了大量实验。我们的PRSA-Net优于其他最先进方法。特别地，我们将提案生成的AR@100由先前最佳的50.67%提升至56.12%，并将THUMOS14上动作检测的0.5 tIoU下mAP由51.9%提升至58.7%。\textit{代码见} \url{https://github.com/handhand123/PRSA-Net}
引用
@article{arxiv.2206.10095,
title = {Pyramid Region-based Slot Attention Network for Temporal Action Proposal Generation},
author = {Shuaicheng Li and Feng Zhang and Rui-Wei Zhao and Rui Feng and Kunlin Yang and Lingbo Liu and Jun Hou},
journal= {arXiv preprint arXiv:2206.10095},
year = {2022}
}