用于自监督基于骨架动作识别的跨流对比学习
计算机视觉与模式识别
2023-10-27 v2
摘要
随着对比学习的发展，自监督基于骨架的动作识别迅速增长。现有方法依赖于在单一数据流内对 3D 骨架增强施加不变性，仅利用了简单正样本对，限制了探索复杂运动模式的能力。本文主张单流对比的缺陷与必要特征变换的缺失导致了简单正样本，从而提出一种用于基于骨架动作表征学习的跨流对比学习框架（CSCLR）。具体而言，所提 CSCLR 不仅利用流内对比对，还引入流间对比对作为难样本以构建更好的表征学习。此外，为进一步挖掘正样本潜力并增强自监督表征学习的鲁棒性，我们提出正特征变换（PFT）策略，采用特征级操控增加正样本对的方差。为验证方法有效性，我们在 NTU-RGB+D 60、NTU-RGB+D 120 与 PKU-MMD 三个基准数据集上进行了大量实验。实验结果表明，所提 CSCLR 在多种评估协议下均超越最先进方法。
引用
@article{arxiv.2305.02324,
title = {Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition},
author = {Ding Li and Yongqiang Tang and Zhizhong Zhang and Wensheng Zhang},
journal= {arXiv preprint arXiv:2305.02324},
year = {2023}
}
备注
15 pages, 7 figures