多粒度手部动作检测

在视频中检测手部动作对于理解视频内容至关重要，并具有多样的现实应用。现有方法常关注全身动作或粗粒度动作类别，缺乏细粒度手部动作定位信息。为填补此空白，我们引入FHA-Kitchens（厨房场景中的细粒度手部动作）数据集，提供粗粒度与细粒度手部动作类别以及定位标注。该数据集包含2,377个视频片段和30,047帧，标注了约200k个边界框和880个动作类别。在FHA-Kitchens上对现有动作检测方法的评估揭示了不同粒度下各异的泛化能力。为处理手部动作的多粒度问题，我们提出MG-HAD，一种端到端多粒度手部动作检测方法。它包含两项新设计：多维动作查询与粗细对比去噪。大量实验证明了MG-HAD在多粒度手部动作检测上的有效性，并凸显了FHA-Kitchens对未来研究与现实应用的重要意义。数据集与源代码发布于 https://github.com/superZ678/MG-HAD。