用于鲁棒基于骨架动作识别的富激活图卷积网络
计算机视觉与模式识别
2020-11-30 v2
摘要
当前基于骨架的人体动作识别方法通常处理完整骨架。然而在实际场景中，不可避免地会捕获不完整或含噪的骨架，当某些具信息量的关节被遮挡或干扰时，会显著恶化当前方法的性能。为提升动作识别模型的鲁棒性，提出一种多流图卷积网络（GCN）以探索散布于所有骨架关节的充分判别特征，从而使分布式冗余表示降低动作模型对非标准骨架的敏感性。具体而言，骨干 GCN 由一系列有序流扩展，各流负责从被先前流较少激活的关节学习判别特征。此处，每个 GCN 流的骨架关节激活程度由类激活图（CAM）度量，且仅未激活关节的信息被传递至下一流，由此获得覆盖所有活动关节的丰富特征。因此，所提方法被称为富激活 GCN（RA-GCN）。与最先进（SOTA）方法相比，RA-GCN 在标准 NTU RGB+D 60 与 120 数据集上取得了相当的性能。更关键的是，在合成遮挡与抖动数据集上，由遮挡与受扰关节导致的性能退化可通过所提 RA-GCN 显著缓解。
引用
@article{arxiv.2008.03791,
title = {Richly Activated Graph Convolutional Network for Robust Skeleton-based Action Recognition},
author = {Yi-Fan Song and Zhang Zhang and Caifeng Shan and Liang Wang},
journal= {arXiv preprint arXiv:2008.03791},
year = {2020}
}
备注
Accepted by IEEE T-CSVT, 11 pages, 6 figures, 10 tables