用于动作识别的定向时间建模
计算机视觉与模式识别
2020-07-23 v1
摘要
当前许多活动识别模型使用三维卷积神经网络（如 I3D、I3D-NL）来生成局部时空特征。然而，此类特征并未编码片段级别的时序有序信息。本文提出一种通道独立的定向卷积（CIDC）操作，该操作学习对局部特征之间的时间演化进行建模。通过应用多个 CIDC 单元，我们构建了一个轻量级网络，对多个空间尺度上的片段级时间演化进行建模。我们的 CIDC 网络可附加于任何活动识别骨干网络。我们在四个流行的活动识别数据集上评估了我们的方法，并持续优于当前最优（SOTA）技术。我们进一步可视化了 CIDC 网络的激活图，表明其能够聚焦于帧中更有意义、与动作相关的部分。
引用
@article{arxiv.2007.11040,
title = {Directional Temporal Modeling for Action Recognition},
author = {Xinyu Li and Bing Shuai and Joseph Tighe},
journal= {arXiv preprint arXiv:2007.11040},
year = {2020}
}
备注
ECCV 2020