TDN：用于高效动作识别的时间差分网络
计算机视觉与模式识别
2021-04-02 v2
摘要
时间建模对于视频中的动作识别而言仍具挑战性。为缓解该问题，本文提出一种称为时间差分网络（TDN）的新视频架构，侧重于捕获多尺度时间信息以实现高效动作识别。我们 TDN 的核心是通过显式利用时间差分算子来设计高效的时间模块（TDM），并系统评估其在短期与长期运动建模上的效果。为在整个视频上充分捕获时间信息，我们的 TDN 以两级差分建模范式构建。具体而言，对于局部运动建模，使用连续帧间的时间差分来为 2D CNN 提供更精细的运动模式；而对于全局运动建模，则引入跨片段的时间差分以捕获长距离结构用于运动特征激励。TDN 提供了一种简单且原则性的时间建模框架，并可用现有 CNN 以较小的额外计算成本实例化。我们的 TDN 在 Something-Something V1 与 V2 数据集上取得了新的最优性能，并在 Kinetics-400 数据集上与最佳性能相当。此外，我们进行了深入的消融研究并绘制了 TDN 的可视化结果，希望为时间差分建模提供有见地的分析。我们在 https://github.com/MCG-NJU/TDN 发布了代码。
引用
@article{arxiv.2012.10071,
title = {TDN: Temporal Difference Networks for Efficient Action Recognition},
author = {Limin Wang and Zhan Tong and Bin Ji and Gangshan Wu},
journal= {arXiv preprint arXiv:2012.10071},
year = {2021}
}
备注
CVPR2021 camera-ready version