基于增强骨架与动量 LSTM 对比动作学习的无监督动作识别
计算机视觉与模式识别
2021-04-05 v4
摘要
通过 3D 骨架数据进行动作识别是近年来新兴的重要课题。现有大多数方法要么提取手工设计的描述子,要么通过需要大量标注数据的监督学习范式来学习动作表示。本文首次提出一种名为 AS-CAL 的对比动作学习范式,可利用未标注骨架数据的不同增强以无监督方式学习动作表示。具体而言,我们首先提出对输入骨架序列的增强实例(查询与键)之间的相似性进行对比,这些实例经由多种新颖增强策略变换,以学习不同骨架变换的固有动作模式(“模式不变性”)。其次,为鼓励以更一致的动作表示学习模式不变性,我们提出一种动量 LSTM,其实现为基于 LSTM 的查询编码器的动量移动平均,用以编码键序列的长期动作动态。第三,我们引入一个队列来存储编码后的键,使模型能灵活复用先前的键并构建更一致的字典以改进对比学习。最后,通过对查询编码器学到的动作隐状态进行时间平均,提出一种名为对比动作编码(Contrastive Action Encoding, CAE)的新表示来有效表征人体动作。大量实验表明,我们的方法通常比现有手工设计方法提升 10-50% 的 top-1 准确率,并且能达到与众多监督学习方法相当甚至更优的性能。
引用
@article{arxiv.2008.00188,
title = {Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM for Unsupervised Action Recognition},
author = {Haocong Rao and Shihao Xu and Xiping Hu and Jun Cheng and Bin Hu},
journal= {arXiv preprint arXiv:2008.00188},
year = {2021}
}
备注
Accepted by Information Sciences. Our codes are available at https://github.com/Mikexu007/AS-CAL