基于生成对抗网络动态图像的自步视频数据增强
计算机视觉与模式识别
2019-10-01 v1
摘要
通过少量样本实现有效的视频分类方法存在迫切需求。利用生成对抗网络（GAN）生成样本可有效缓解样本不足问题，但由于复杂动作和多变视角难以模拟，典型类别视频的生成仍鲜有探索。本文提出一种针对时序分段网络时序流的生成式数据增强方法，利用动态图像进行增强。动态图像将视频的运动信息压缩为静态图像，去除了背景等干扰因素，因此更容易利用GAN生成具有类别运动信息的图像。我们使用生成的动态图像增强特征，同时实现正则化，从而达到视频增强的效果。为应对生成图像质量不均的问题，我们提出自步选择（SPS）方法，自动筛选高质量生成样本加入网络训练。我们的方法在两个基准数据集HMDB51和UCF101上得到验证。实验结果表明，该方法在样本不足与样本不均衡情况下能提升视频分类准确率。
引用
@article{arxiv.1909.12929,
title = {Self-Paced Video Data Augmentation with Dynamic Images Generated by Generative Adversarial Networks},
author = {Yumeng Zhang and Gaoguo Jia and Li Chen and Mingrui Zhang and Junhai Yong},
journal= {arXiv preprint arXiv:1909.12929},
year = {2019}
}