基于时间位移模块和集成学习的人体动作识别

本文提出了用于多模态动作识别挑战赛的首屈亚可解答。该挑战赛是由多模态视觉模式识别工作坊在 ICPR 2024 上举办。比赛旨在使用来自多模态来源的包含 20 种动作类别的多样化数据集进行人类动作识别。该方法基于时间位移模块 (TSM)，该技术旨在高效地捕捉视频数据中的时序动态，同时融合多种数据输入类型。我们的策略包括采用迁移学习以利用预训练模型，随后对挑战赛特定数据集进行精细调优，以优化对 20 种动作类别的识别性能。我们仔细选择 backbone 网络以平衡计算效率和识别准确性，并进一步采用集成技术整合不同模态的输出。该集成方法在提升整体性能方面发挥了关键作用。我们的解决方案在测试集上实现了完美的 Top-1 准确率，证明了该方法在识别跨 20 类的人类动作方面的有效性。代码已在线上公开 https://github.com/ffyyytt/TSM-MMVPR。