UniSTFormer：用于高效骨架基动作识别的统一时空轻量Transformer
计算机视觉与模式识别
2025-08-13 v1
摘要
骨架基动作识别（SAR）已通过Transformer架构取得显著进展。然而，现有方法常依赖复杂的模块组合和笨重的设计，导致参数数量增加、计算成本高昂且可扩展性受限。本文提出一种统一时空轻量Transformer框架，将空间和时间建模集成于单个注意力模块中，无需额外的时序建模模块。该方法在保留时序感知能力的同时，减少了冗余计算。进一步，我们引入简化的多尺度池化融合模块，将局部和全局池化路径相结合，以增强模型捕捉细粒度局部运动和整体运动模式的能力。大量基准数据集上的实验表明，我们的轻量化模型在准确率和效率之间实现了卓越的平衡，参数复杂度比最先进的基于Transformer的基线方法降低超过58%，计算成本降低超过60%，而保持了具竞争力的识别性能。
引用
@article{arxiv.2508.08944,
title = {UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition},
author = {Wenhan Wu and Zhishuai Guo and Chen Chen and Aidong Lu},
journal= {arXiv preprint arXiv:2508.08944},
year = {2025}
}