通过增强生成对抗网络的自监督人类活动识别
计算机视觉与模式识别
2021-07-08 v2
摘要
本文提出了一种新颖的方法，通过自监督任务来增强生成对抗网络（GAN），以提高其编码视频表示的能力，这些表示对于人类活动识别等下游任务非常有用。在所提出的方法中，输入视频帧通过不同的空间变换（如旋转、平移和剪切）或时间变换（如打乱帧的时间顺序）进行随机转换。然后，通过引入辅助损失，鼓励判别器预测所施加的变换。随后，结果证明了所提出的方法在为人类活动识别中使用的视频提供有用表示方面优于基线方法，该识别在 KTH、UCF101 和 Ball-Drop 等数据集上执行。Ball-Drop 数据集是专门设计的数据集，用于通过体力和认知要求高的任务来测量儿童的执行功能。使用所提出方法的特征代替基线方法的特征，使 top-1 分类准确率提高了 4% 以上。此外，还进行了消融研究，以调查不同变换对下游任务的贡献。
引用
@article{arxiv.2008.11755,
title = {Self-Supervised Human Activity Recognition by Augmenting Generative Adversarial Networks},
author = {Mohammad Zaki Zadeh and Ashwin Ramesh Babu and Ashish Jaiswal and Fillia Makedon},
journal= {arXiv preprint arXiv:2008.11755},
year = {2021}
}