用于动作分类的交互感知时空金字塔注意力网络
计算机视觉与模式识别
2018-08-06 v1
摘要
特征图中相邻空间位置的局部特征具有高度相关性，因为其感受野常相互重叠。自注意力通常使用每个局部特征内部元素的加权和（或其他函数）来获得其权重分数，忽略了局部特征间的交互。为此，我们提出一种受PCA启发的有效交互感知自注意力模型来学习注意力图。此外，由于深度网络中不同层捕获不同尺度的特征图，我们利用这些特征图构建空间金字塔，进而使用多尺度信息获得更精确的注意力分数，用以对特征图所有空间位置的局部特征加权以计算注意力图。而且，我们的空间金字塔注意力对其输入特征图数量无限制，故易扩展至时空版本。最后，我们的模型嵌入通用CNN中形成端到端注意力网络用于动作分类。实验结果表明，我们的方法在UCF101、HMDB51和未裁剪的Charades上取得了最先进的结果。
引用
@article{arxiv.1808.01106,
title = {Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification},
author = {Yang Du and Chunfeng Yuan and Bing Li and Lili Zhao and Yangxi Li and Weiming Hu},
journal= {arXiv preprint arXiv:1808.01106},
year = {2018}
}
备注
Accepted by ECCV2018