DMC-Net：生成判别性运动线索以实现快速压缩视频动作识别
计算机视觉与模式识别
2019-05-09 v3
摘要
运动已被证明对视频理解有用，其中运动通常由光流表示。然而，从视频帧计算光流非常耗时。近期工作直接利用压缩视频中现成的运动向量和残差来零成本表示运动。虽然这避免了光流计算，但也损害了准确性，因为运动向量有噪声且分辨率大幅降低，这使其成为一种判别性较弱的运动表示。为补救这些问题，我们提出了一种轻量生成器网络，它降低运动向量中的噪声并捕获精细运动细节，从而实现更具判别性的运动线索（DMC）表示。由于光流是更准确的运动表示，我们训练 DMC 生成器使用重建损失和生成对抗损失来逼近光流，并与下游动作分类任务联合训练。在三个动作识别基准（HMDB-51、UCF-101 和 Kinetics 的一个子集）上的大量评估证实了我们的方法的有效性。我们的完整系统由生成器和分类器组成，被称为 DMC-Net，它获得了接近使用光流的准确率，并在推理时比使用光流快两个数量级。
引用
@article{arxiv.1901.03460,
title = {DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition},
author = {Zheng Shou and Xudong Lin and Yannis Kalantidis and Laura Sevilla-Lara and Marcus Rohrbach and Shih-Fu Chang and Zhicheng Yan},
journal= {arXiv preprint arXiv:1901.03460},
year = {2019}
}
备注
Accepted by CVPR'19