面向双流动作识别的视频超分辨率
计算机视觉与模式识别
2020-03-13 v2
摘要
我们研究用于辅助视频分析任务（如动作识别）而非提升视觉质量的视频超分辨率（SR）问题。基于卷积网络的流行动作识别方法，以双流网络为代表，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频 SR 来弥补，这促使我们为识别准确率改进 SR 流程。针对双流动作识别网络，我们分别提出用于空间流和时间流的两种视频 SR 方法。一方面，我们观察到含动作的区域对识别更为重要，并为我们面向空间的 SR（SoSR）网络提出光流引导的加权均方误差损失，以强调运动对象的重建。另一方面，我们观察到现有视频 SR 方法会导致帧间时间不连续，这也恶化了识别准确率，并为我们面向时间的 SR（ToSR）训练提出一个连体网络，强调连续帧间的时间连续性。我们使用两个最先进的动作识别网络和两个知名数据集——UCF101 和 HMDB51——进行实验。结果证明了我们所提 SoSR 和 ToSR 在提升识别准确率方面的有效性。
引用
@article{arxiv.1903.05577,
title = {Two-Stream Action Recognition-Oriented Video Super-Resolution},
author = {Haochen Zhang and Dong Liu and Zhiwei Xiong},
journal= {arXiv preprint arXiv:1903.05577},
year = {2020}
}
备注
Accepted to ICCV 2019. Code: https://github.com/AlanZhang1995/TwoStreamSR