基于时空数据增强一致性正则化的自监督动作识别学习
计算机视觉与模式识别
2020-08-06 v1
摘要
自监督学习通过直接从无标签数据中构建替代监督信号，以无监督方式提升深度学习模型，已展现出巨大潜力。与现有工作不同，我们提出了一种基于一致性正则化下高层特征图获取替代监督信号的新方法。本文中，我们提出一种时空一致性正则化方法，作用于孪生网络生成的不同输出特征之间，该网络包括输入原始视频的干净路径与输入相应增强视频的噪声路径。基于视频的时空特性，我们开发了两种基于视频的数据增强方法，即时空变换与视频内混合。前者的一致性用于建模特征变换一致性，后者旨在保持空间不变性以提取动作相关特征。大量实验表明，我们的方法相较于最先进的自监督动作识别方法取得了显著提升。当将我们的方法作为附加正则化项并与当前替代监督信号结合时，我们在HMDB51上比先前最优方法相对提升22%，在UCF101上提升7%。
引用
@article{arxiv.2008.02086,
title = {Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition},
author = {Jinpeng Wang and Yiqi Lin and Andy J. Ma},
journal= {arXiv preprint arXiv:2008.02086},
year = {2020}
}
备注
12 pages