利用图像通过层次生成对抗网络进行视频识别
计算机视觉与模式识别
2018-05-14 v1
摘要
现有的视频识别深度学习方法通常需要大量带标签的视频进行训练。但对于新任务,视频往往无标签,且标注它们耗时耗力。我们尝试利用现有的完全标注图像来帮助识别这些视频,而非人工标注。然而,由于域偏移和异构特征表示问题,在图像上训练的分类器用于视频识别任务时性能可能大幅下降。本文提出一种称为层次生成对抗网络(Hierarchical Generative Adversarial Networks, HiGAN)的新方法,通过从图像(即源域)迁移知识来增强视频(即目标域)的识别。HiGAN 模型由一个低层条件 GAN 和一个高层条件 GAN 组成。借助这两级对抗学习,我们的方法能够学习源图像与目标视频的域不变特征表示。在两个具有挑战性的视频识别数据集(即 UCF101 和 HMDB51)上的综合实验证明了所提方法与现有最先进的域适应方法相比的有效性。
引用
@article{arxiv.1805.04384,
title = {Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks},
author = {Feiwu Yu and Xinxiao Wu and Yuchao Sun and Lixin Duan},
journal= {arXiv preprint arXiv:1805.04384},
year = {2018}
}
备注
IJCAI 2018