TSM：用于高效视频理解的时序移位模块
计算机视觉与模式识别
2019-08-23 v3
摘要
视频流的爆炸式增长给以高精度和低计算成本执行视频理解带来了挑战。常规 2D CNN 计算廉价但无法捕捉时序关系；基于 3D CNN 的方法能取得良好性能但计算密集，使其部署昂贵。在本文中，我们提出一个通用且高效的时序移位模块（Temporal Shift Module, TSM），兼具高效率与高性能。具体而言，它可达到 3D CNN 的性能，同时保持 2D CNN 的复杂度。TSM 将部分通道沿时间维度移位，从而促进相邻帧间的信息交换。它可插入 2D CNN 中以零计算与零参数实现时序建模。我们还将 TSM 扩展至在线设定，实现了实时低延迟的在线视频识别与视频目标检测。TSM 准确且高效：在发表时位列 Something-Something 排行榜第一；在 Jetson Nano 与 Galaxy Note8 上，其在线视频识别延迟分别低至 13ms 与 35ms。代码见：https://github.com/mit-han-lab/temporal-shift-module。
引用
@article{arxiv.1811.08383,
title = {TSM: Temporal Shift Module for Efficient Video Understanding},
author = {Ji Lin and Chuang Gan and Song Han},
journal= {arXiv preprint arXiv:1811.08383},
year = {2019}
}
备注
Accepted by ICCV 2019