基于跨注意力的身体-手部模态专家网络用于细粒度骨架动作识别

骨架基因的人类动作识别（Human Action Recognition, HAR）是机器人和人机交互中的关键技术。然而，大多数现有方法主要关注完整身体动作，往往忽视区分细粒度动作至关重要的细微手部动作。最近的工作利用统一的图表示结合身体、手部和脚部关键点来捕获详细的身体动力学。然而，这些模型由于身体与手部动作特征之间的差异以及在空间池化过程中丢失细微特征，往往模糊了细微的手部细节。本文提出了 BHaRNet（Body-Hand action Recognition Network），一种新型框架，通过增强典型的身体专家模型和手部专家模型来实现。我们的模型通过 ensemble loss 联合训练两个流，促进合作专门化，类似于 Mixture-of-Experts（MoE）方式。此外，采用专家化分支方法和池化注意力模块，实现特征层面的交互并选择性地融合互补信息。灵感来自 MMNet，我们还展示了该方法在多模态任务中的应用，通过利用 RGB 信息，其中身体特征引导 RGB 学习以捕获更丰富的上下文线索。在大型基准测试（NTU RGB+D 60、NTU RGB+D 120、PKU-MMD 和 Northwestern-UCLA）上的实验表明，BHaRNet 在手部密集型动作中实现了从 86.4% 提升至 93.0% 的 SOTA 准确率，同时比相关统一方法使用更少的 GFLOPs 和参数。