用于基于骨架动作识别的拓扑对称增强图卷积
计算机视觉与模式识别
2024-11-21 v2 人工智能
摘要
随着图卷积网络（GCN）的发展，基于骨架的动作识别取得了显著的性能。然而，这些方法中的大多数倾向于构建复杂的拓扑学习机制，而忽略了人体的固有对称性。此外，使用具有某些固定感受野的时间卷积限制了它们有效捕获时间序列中依赖关系的能力。为了解决这些问题，我们 (1) 提出了一种新颖的拓扑对称增强图卷积（TSE-GC），以在不同的通道分区之间实现独特的拓扑学习，同时结合拓扑对称感知，并且 (2) 为基于骨架的动作识别构建了多分支可变形时间卷积（MBDTC）。所提出的 TSE-GC 强调了人体的固有对称性，同时实现了动态拓扑的高效学习。同时，MBDTC 的设计引入了可变形建模的概念，带来了更灵活的感受野和更强的时间依赖性建模能力。将 TSE-GC 与 MBDTC 结合，我们的最终模型 TSE-GCN 在三个大型数据集 NTU RGB+D、NTU RGB+D 120 和 NW-UCLA 上与最先进的方法相比，以更少的参数实现了有竞争力的性能。在 NTU RGB+D 120 的跨主体和跨集合评估中，我们模型的准确率分别达到了 90.0% 和 91.1%，单流的参数量为 1.1M，计算量为 1.38 GFLOPS。
引用
@article{arxiv.2411.12560,
title = {Topological Symmetry Enhanced Graph Convolution for Skeleton-Based Action Recognition},
author = {Zeyu Liang and Hailun Xia and Naichuan Zheng and Huan Xu},
journal= {arXiv preprint arXiv:2411.12560},
year = {2024}
}