面向半监督骨架动作识别的时空解耦-挤压对比学习
计算机视觉与模式识别
2023-02-07 v1
摘要
对比学习已被成功用于学习动作表示，以解决半监督骨架动作识别问题。然而，大多数基于对比学习的方法仅对比混合了时空信息的全局特征，这混淆了在帧级和关节级反映不同语义的空间和时间特定信息。因此，我们提出了一种新颖的时空解耦-挤压对比学习（SDS-CL）框架，通过联合对比空间挤压特征、时间挤压特征和全局特征，来全面学习更丰富的骨架动作表示。在SDS-CL中，我们设计了一种新的时空解耦内-间注意力（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦内注意力图，以及关节与运动特征之间的空间和时间解耦间注意力图，来获取时空解耦注意力特征，以捕捉时空特定信息。此外，我们提出了新的空间挤压时间对比损失（STL）、时间挤压空间对比损失（TSL）和全局对比损失（GL），分别在帧级对比空间挤压的关节和运动特征，在关节级对比时间挤压的关节和运动特征，以及在骨架级对比全局关节和运动特征。在四个公开数据集上的大量实验结果表明，与其他竞争方法相比，所提出的SDS-CL取得了性能提升。
引用
@article{arxiv.2302.02316,
title = {Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition},
author = {Binqian Xu and Xiangbo Shu},
journal= {arXiv preprint arXiv:2302.02316},
year = {2023}
}