TSkel-Mamba：基于状态空间模型的时间动态建模及其在人体骨架动作识别中的应用
计算机视觉与模式识别
2025-12-15 v1
摘要
基于骨架的动作识别在计算机视觉领域引起了广泛关注。受选择性状态空间模型（SSM）Mamba 在建模一维时间序列上近期成功的启发，我们提出了 TSkel-Mamba，这是一个混合 Transformer-Mamba 框架，能够有效捕捉空间和时间动态。具体而言，我们的方法利用空间 Transformer 进行空间特征学习，同时利用 Mamba 进行时间建模。然而，Mamba 对各个通道采用独立的 SSM 块，这固有地限制了其建模通道间依赖关系的能力。为了更好地将 Mamba 适配于骨架数据并增强 Mamba 建模时间依赖关系的能力，我们引入了时间动态建模（TDM）块，这是一个通用的即插即用组件，集成了一个新颖的多尺度时间交互（MTI）模块。MTI 模块采用多尺度 Cycle 算子来捕捉跨通道的时间交互，这是动作识别中的一个关键因素。在 NTU-RGB+D 60、NTU-RGB+D 120、NW-UCLA 和 UAV-Human 数据集上的大量实验表明，TSkel-Mamba 在保持低推理时间的同时实现了 SOTA 性能，兼具高效性与高度有效性。
引用
@article{arxiv.2512.11503,
title = {TSkel-Mamba: Temporal Dynamic Modeling via State Space Model for Human Skeleton-based Action Recognition},
author = {Yanan Liu and Jun Liu and Hao Zhang and Dan Xu and Hossein Rahmani and Mohammed Bennamoun and Qiuhong Ke},
journal= {arXiv preprint arXiv:2512.11503},
year = {2025}
}