用于基于骨架动作识别的时间-通道拓扑增强网络
计算机视觉与模式识别
2023-02-28 v1
摘要
基于骨架的动作识别因其高效性和鲁棒性近年来变得流行。当前多数方法采用图卷积网络(GCN)进行拓扑建模,但基于 GCN 的方法在长距离相关性建模和泛化性上受限。相比之下,卷积神经网络(CNN)用于拓扑建模的潜力尚未被充分挖掘。本文中,我们提出一种新颖的 CNN 架构——时间-通道拓扑增强网络(TCTE-Net),以学习用于基于骨架动作识别的空间与时间拓扑。TCTE-Net 由两个模块组成:时间-通道聚焦模块,其学习一个时间-通道聚焦矩阵以识别最关键的特征表示;以及动态通道拓扑注意力模块,其动态学习空间拓扑特征,并通过注意力机制将其融合以建模长距离通道间拓扑。我们在 NTU RGB+D、NTU RGB+D 120 和 FineGym 数据集上开展实验。TCTE-Net 相比基于 CNN 的方法展现出最先进的性能,并相较基于 GCN 的方法取得更优性能。代码见 https://github.com/aikuniverse/TCTE-Net。
引用
@article{arxiv.2302.12967,
title = {Temporal-Channel Topology Enhanced Network for Skeleton-Based Action Recognition},
author = {Jinzhao Luo and Lu Zhou and Guibo Zhu and Guojing Ge and Beiying Yang and Jinqiao Wang},
journal= {arXiv preprint arXiv:2302.12967},
year = {2023}
}