动作关注图神经网络
计算机视觉与模式识别
2018-05-09 v1
摘要
人体骨架的运动分析对人体动作识别至关重要，这是计算机视觉中最活跃的话题之一。本文中，我们提出一种用于基于骨架动作识别的全端到端动作关注图神经网络（AGNN），其中每个不规则骨架被结构化为无向属性图。为从骨架中提取高级语义表示，我们在所构造的属性图上执行局部谱图滤波，如同标准图像卷积操作。考虑到并非所有关节对动作分析都有信息量，我们设计了一个动作关注层，通过自适应加权骨骼关节来检测那些显著动作单元（AUs）。此处滤波响应被参数化为与输入节点顺序无关的加权函数。为进一步编码连续运动变化，从骨架图学到的深度特征沿连续时间切片聚集，然后送入循环门控网络。最后，谱图滤波、动作关注与循环时间编码被集成在一起联合训练，以兼顾鲁棒动作识别及人体动作的可解释性。为评估我们的 AGNN，我们在四个基准基于骨架的动作数据集上进行了大量实验，包括大规模具挑战性的 NTU RGB+D 数据集。实验结果表明我们的网络取得了最先进的性能。
引用
@article{arxiv.1711.06427,
title = {Action-Attending Graphic Neural Network},
author = {Chaolong Li and Zhen Cui and Wenming Zheng and Chunyan Xu and Rongrong Ji and Jian Yang},
journal= {arXiv preprint arXiv:1711.06427},
year = {2018}
}