SCD-Net：用于自监督基于骨架动作识别的时空线索解耦网络
计算机视觉与模式识别
2023-09-13 v1
摘要
对比学习在基于骨架的动作识别中取得了巨大成功。然而，现有大多数方法将骨架序列编码为耦合的时空表示，并将对比限制在同一表示层级。相反，本文引入了一种新颖的对比学习框架，即时空线索解耦网络（SCD-Net）。具体而言，我们将解耦模块与特征提取器相结合，分别从空间域和时间域中导出显式线索。在 SCD-Net 的训练中，通过构建全局锚点，我们鼓励锚点与提取的线索之间进行交互。此外，我们提出了一种带有结构约束的新掩码策略以增强上下文关联，将掩码图像建模的最新发展引入所提出的 SCD-Net 中。我们在 NTU-RGB+D（60&120）和 PKU-MMD（I&II）数据集上进行了广泛评估，涵盖动作识别、动作检索、迁移学习和半监督学习等各种下游任务。实验结果证明了我们方法的有效性，其性能显著优于现有的 SOTA 方法。
引用
@article{arxiv.2309.05834,
title = {SCD-Net: Spatiotemporal Clues Disentanglement Network for Self-supervised Skeleton-based Action Recognition},
author = {Cong Wu and Xiao-Jun Wu and Josef Kittler and Tianyang Xu and Sara Atito and Muhammad Awais and Zhenhua Feng},
journal= {arXiv preprint arXiv:2309.05834},
year = {2023}
}