用于基于骨架的动作识别的反馈图卷积网络
计算机视觉与模式识别
2020-03-18 v1
摘要
基于骨架的动作识别在计算机视觉中引起了相当多的关注，因为与其他模态相比，骨架数据对动态环境和复杂背景更具鲁棒性。最近，许多研究者使用图卷积网络（GCN）通过端到端优化来建模骨架序列的时空特征。然而，传统GCN是前馈网络，低层无法访问高层中的语义信息。本文提出一种新颖的网络，称为反馈图卷积网络（FGCN）。这是首个将反馈机制引入GCN和动作识别的工作。与传统GCN相比，FGCN具有以下优势：（1）设计了一种多阶段时间采样策略，以由粗到细的渐进过程提取动作识别的时空特征；（2）提出了基于密集连接的反馈图卷积块（FGCB），将反馈连接引入GCN。它将高层语义特征传递到低层，并逐阶段流动时间信息，以渐进建模全局时空特征用于动作识别；（3）FGCN模型提供早期预测。在早期阶段，模型接收关于动作的部分信息。自然地，其预测相对粗糙。粗糙预测被用作先验以引导后期阶段的特征学习以获得准确预测。在NTU-RGB+D、NTU-RGB+D120和Northwestern-UCLA数据集上的大量实验表明，所提出的FGCN对动作识别是有效的。它在三个数据集上取得了最先进的性能。
引用
@article{arxiv.2003.07564,
title = {Feedback Graph Convolutional Network for Skeleton-based Action Recognition},
author = {Hao Yang and Dan Yan and Li Zhang and Dong Li and YunDa Sun and ShaoDi You and Stephen J. Maybank},
journal= {arXiv preprint arXiv:2003.07564},
year = {2020}
}
备注
18 pages, 5 figures