基于Shapley值的 Shap-Mix 混合策略用于长尾分布下的基于骨架的人类动作识别

在真实场景中，人类动作往往落入长尾分布。这导致现有的基于骨架的人类动作识别工作（主要基于平衡数据集设计）在实际应用中表现显著下降。近期许多研究致力于图像/视频长尾学习。然而，直接将其应用于骨架数据会不理想，因为缺乏对关键时空运动模式的考虑，尤其是某些模态特定方法（如数据增强）。为此，考虑到身体部件在空间集中人类动作中的关键作用，我们关注混合数据增强，提出一种新方法 Shap-Mix，通过挖掘尾部类别的代表性运动模式来提升长尾学习效果。具体而言，我们首先开发了一种有效的时空混合策略以提升表示质量。随后，采用基于Shapley值的显著性指导方法，包括基于Shapley值的显著性估计和尾部感知混合策略。它保留了混合数据中少数类别的显著运动部件，显式地建立了关键身体结构线索与高层语义之间的关系。在三个大规模骨架数据集上的广泛实验表明，我们在长尾和平衡设置下均实现了显著的性能提升。我们的项目已公开：https://jhang2020.github.io/Projects/Shap-Mix/Shap-Mix.html。