利用无标签视频中的运动信息用于静态图像动作识别
计算机视觉与模式识别
2019-12-03 v1
摘要
静态图像动作识别旨在基于单幅图像识别动作，通常依赖昂贵的人工标注工作，如充足的标注动作图像和大规模标注图像数据集。相比之下，丰富的无标签视频可以经济地获取。因此，若干工作探索了使用无标签视频来促进图像动作识别，可分为以下两类：（a）通过在无标签视频上设计代理任务来增强动作图像的视觉表示，这属于自监督学习范畴；（b）利用从无标签视频中学得的生成器为动作图像生成辅助表示。本文将上述两种策略集成到一个统一框架中，该框架由视觉表示增强（VRE）模块和运动表示增强（MRA）模块组成。具体而言，VRE模块包含一个代理任务，其对无标签视频施加伪运动标签约束和时间相干性约束，而MRA模块可通过利用无标签视频预测静态动作图像的运动信息。我们基于四个标注数据有限的基准人体动作数据集证明了我们框架的优越性。
引用
@article{arxiv.1912.00308,
title = {Exploiting Motion Information from Unlabeled Videos for Static Image Action Recognition},
author = {Yiyi Zhang and Li Niu and Ziqi Pan and Meichao Luo and Jianfu Zhang and Dawei Cheng and Liqing Zhang},
journal= {arXiv preprint arXiv:1912.00308},
year = {2019}
}