克服拓扑不可知性：通过重定义的骨骼拓扑感知增强基于骨架的动作识别
计算机视觉与模式识别
2024-03-05 v3
摘要
图卷积网络（GCNs）长期以来在基于骨架的动作识别中定义了最先进水平，其利用图邻接矩阵揭示人体关节拓扑的复杂动态。然而，这些前沿模型中存在一个固有缺陷：它们倾向于将邻接矩阵与模型权重联合优化。这一过程虽看似高效，却导致骨骼连接信息逐渐衰减，最终使模型对其试图映射的拓扑变得漠不关心。作为补救，我们提出三重策略：（1）我们构建了一条创新路径，利用图距离编码骨骼连接性。该方法保留了传统 GCNs 中常丢失的关键拓扑细节。（2）我们强调一个常被忽视的特征——骨骼序列的时间均值，其虽看似朴素，却携带高度动作特定的信息。（3）我们的研究揭示了不同动作间关节到关节关系的强烈差异。这一发现暴露了单一邻接矩阵在捕捉人类运动标志性关系构型变化上的局限，我们通过提出一种对图卷积（GC）的高效改进——BlockGC 来弥补。这一演进大幅削减了参数（ above 40%），同时将性能提升至原始 GCNs 之上。我们的完整模型 BlockGCN 在小型模型尺寸的基于骨架的动作识别中确立了新标准。其在大规模 NTU RGB+D 120 数据集上的高精度，有力证明了 BlockGCN 的有效性。
引用
@article{arxiv.2305.11468,
title = {Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action Recognition through Redefined Skeletal Topology Awareness},
author = {Yuxuan Zhou and Zhi-Qi Cheng and Jun-Yan He and Bin Luo and Yifeng Geng and Xuansong Xie},
journal= {arXiv preprint arXiv:2305.11468},
year = {2024}
}