基于骨架的动作识别的图对比学习
计算机视觉与模式识别
2023-06-13 v2
摘要
在基于骨架的动作识别领域，当前性能最优的图卷积网络（GCNs）利用序列内上下文来构建自适应图以进行特征聚合。然而，我们认为这种上下文仍然是局部的，因为丰富的序列间关系尚未被显式探究。本文提出一种用于基于骨架的动作识别的图对比学习框架（SkeletonGCL），以探索所有序列间的全局上下文。具体而言，SkeletonGCL通过强制图具有类别判别性（即类内紧凑、类间分散）来关联跨序列的图学习，从而提升GCN区分不同动作模式的能力。此外，设计了两个记忆库，从实例和语义两个互补层面丰富跨序列上下文，使得图对比学习可在多上下文尺度上进行。因此，SkeletonGCL建立了一种新的训练范式，并可无缝集成到当前的GCNs中。不失一般性，我们将SkeletonGCL与三种GCN（2S-ACGN、CTR-GCN和InfoGCN）结合，在NTU60、NTU120和NW-UCLA基准上取得了一致的性能提升。源代码将发布于\url{https://github.com/OliverHxh/SkeletonGCL}。
引用
@article{arxiv.2301.10900,
title = {Graph Contrastive Learning for Skeleton-based Action Recognition},
author = {Xiaohu Huang and Hao Zhou and Jian Wang and Haocheng Feng and Junyu Han and Errui Ding and Jingdong Wang and Xinggang Wang and Wenyu Liu and Bin Feng},
journal= {arXiv preprint arXiv:2301.10900},
year = {2023}
}
备注
Accepted by ICLR2023