IIP-Transformer：基于骨架动作识别的部件内-部件间Transformer
计算机视觉与模式识别
2024-03-27 v1
摘要
近来，基于Transformer的网络在基于骨架的动作识别任务上展现出巨大潜力。捕捉全局与局部依赖的能力是成功的关键，但这也带来了二次的计算与内存开销。另一个问题是，以往研究主要关注单个关节之间的关系，常受传感器噪声输入或不准确估计引入的含噪骨架关节影响。为解决上述问题，我们提出了一种新颖的基于Transformer的网络（IIP-Transformer）。我们的IIP-Transformer并非利用单个关节间的交互，而是同时纳入身体关节与部件的交互，从而能够高效且有效地捕捉关节级（部件内）与部件级（部件间）依赖。从数据角度，我们引入了部件级骨架数据编码，显著降低了计算复杂度，并对关节级骨架噪声更具鲁棒性。此外，提出了一种新的部件级数据增强以提升模型性能。在两个大规模数据集NTU-RGB+D 60与NTU RGB+D 120上，所提IIP-Transformer以比SOTA基于Transformer的方法DSTA-Net低逾8倍的计算复杂度取得了最先进性能。
引用
@article{arxiv.2110.13385,
title = {IIP-Transformer: Intra-Inter-Part Transformer for Skeleton-Based Action Recognition},
author = {Qingtian Wang and Jianlin Peng and Shuze Shi and Tingxi Liu and Jiabin He and Renliang Weng},
journal= {arXiv preprint arXiv:2110.13385},
year = {2024}
}
备注
10 pages, 7 figures