面向基于骨架的动作识别的改进图池化网络
计算机视觉与模式识别
2024-04-26 v1
摘要
在计算机视觉中，池化是关键操作，但骨架的独特结构阻碍了现有池化策略的用于骨架图模型。本文提出了改进图池化网络，称为 IGPN。主要创新点包括：我们的方法基于结构分区引入区域感知池化策略。使用原始特征的相关矩阵来自适应调整不同区域新特征信息的权重，从而实现更灵活、更有效的处理。为防止不可逆的信息损失，我们提出了跨融合模块和信息补充模块，分别提供块级和输入级信息。作为可即插即用的数据结构，所提出的操作可以无缝集成到现有的 GCN 基模型中。我们在几个具有挑战性的基准数据集上进行了广泛评估，实验结果表明我们提出的解决方案有效。例如，在 NTU-RGB+D 60 数据集的跨主体评估中，IGPN 相较于基线模型在准确率上实现了显著提升，同时将 Flops 降低了近 70%；我们还引入了一个更重的版本，以进一步提升准确率。
引用
@article{arxiv.2404.16359,
title = {An Improved Graph Pooling Network for Skeleton-Based Action Recognition},
author = {Cong Wu and Xiao-Jun Wu and Tianyang Xu and Josef Kittler},
journal= {arXiv preprint arXiv:2404.16359},
year = {2024}
}