基于时空混合骨架序列的对比学习用于自监督骨架动作识别
计算机视觉与模式识别
2022-07-08 v1
摘要
基于对比学习的自监督骨架动作识别已引起广泛关注。近期文献表明，数据增强和大量对比对对于学习此类表征至关重要。在本文中，我们发现基于常规增强直接扩展对比对在性能上带来的回报有限，因为随着训练的进行，来自常规数据增强的对比对对损失的贡献越来越小。因此，我们深入研究了用于对比学习的困难对比对。受混合增强策略成功合成新样本从而提升许多任务性能的启发，我们提出了 SkeleMixCLR：一个带有时空骨架混合增强（SkeleMix）的对比学习框架，通过提供困难对比样本来补充当前的对比学习方法。首先，SkeleMix 利用骨架数据的拓扑信息，通过将裁剪的骨架片段（修剪视图）与剩余的骨架序列（截断视图）随机组合来混合两个骨架序列。其次，应用时空掩码池化在特征层面分离这两个视图。第三，我们用这两个视图扩展对比对。SkeleMixCLR 利用修剪视图和截断视图来提供丰富的困难对比对，因为由于图卷积操作，它们包含了彼此的一些上下文信息，这使得模型能够学习到更好的运动表示以用于动作识别。在 NTU-RGB+D、NTU120-RGB+D 和 PKU-MMD 数据集上的大量实验表明，SkeleMixCLR 达到了最先进的性能。代码可在 https://github.com/czhaneva/SkeleMixCLR 获取。
引用
@article{arxiv.2207.03065,
title = {Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition},
author = {Zhan Chen and Hong Liu and Tianyu Guo and Zhengyan Chen and Pinhao Song and Hao Tang},
journal= {arXiv preprint arXiv:2207.03065},
year = {2022}
}
备注
12 pages, 5 figures, submitted to TMM