Gate-Shift-Pose：融合骨架信息增强体育动作识别
计算机视觉与模式识别
2025-10-06 v2
摘要
本文提出了Gate-Shift-Pose，这是Gate-Shift-Fuse网络的增强版本，旨在通过将骨架姿态数据与RGB帧相结合，实现花样滑冰运动员跌倒分类。我们评估了两种融合策略：早期融合，在输入阶段将RGB帧与姿态关键点的热力图相结合；以及晚期融合，采用多流架构与注意力机制来融合RGB和姿态特征。在FR-FS数据集上的实验表明，Gate-Shift-Pose显著优于仅使用RGB的基线方法，使用ResNet18时准确率提升高达40%，使用ResNet50时提升20%。早期融合使用ResNet50达到了最高准确率（98.08%），利用了模型有效进行多模态融合的能力，而晚期融合更适合ResNet18等轻量级骨干网络。这些结果凸显了多模态架构在体育动作识别中的潜力，以及骨架姿态信息在捕捉复杂运动模式中的关键作用。
引用
@article{arxiv.2503.04470,
title = {Gate-Shift-Pose: Enhancing Action Recognition in Sports with Skeleton Information},
author = {Edoardo Bianchi and Oswald Lanz},
journal= {arXiv preprint arXiv:2503.04470},
year = {2025}
}
备注
Accepted at the 2025 Winter Conference on Applications of Computer Vision (WACV) Workshops. Visit the project page at https://edowhite.github.io/Gate-Shift-Pose