用于半监督骨骼动作识别的关节-骨骼融合图卷积网络
计算机视觉与模式识别
2022-02-10 v1
摘要
近年来，图卷积网络（GCNs）在基于骨骼的人体动作识别中发挥着越来越关键的作用。然而，大多数基于GCN的方法仍存在两个主要局限：1）仅考虑关节的运动信息或分别处理关节与骨骼，无法充分挖掘关节与骨骼之间对动作识别的潜在功能关联。2）这些工作大多以监督学习方式开展，严重依赖大量标注训练数据。为解决这些问题，我们提出了一种此前鲜有探索的半监督基于骨骼的动作识别方法。我们设计了一种新颖的关联驱动关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，并使用姿态预测头作为解码器来实现半监督学习。具体而言，CD-JBF-GC能够探索关节流与骨骼流之间的运动传递，从而促进两个流学习更具判别力的特征表征。自监督训练阶段中基于姿态预测的自编码器使网络能从无标注数据中学习运动表征，这对动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上的大量实验表明，我们的模型在半监督基于骨骼的动作识别上达到了最先进性能，并对全监督方法也有助益。
引用
@article{arxiv.2202.04075,
title = {Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition},
author = {Zhigang Tu and Jiaxu Zhang and Hongyan Li and Yujin Chen and Junsong Yuan},
journal= {arXiv preprint arXiv:2202.04075},
year = {2022}
}