面向通用骨架基动作识别

随着机器人技术的发展，骨架基动作识别变得越来越重要，因为人机交互需要理解人类和人形机器人的动作。由于不同来源的人类骨架和人形机器人的结构，骨架数据本质上呈现异质性。然而，前期工作忽视了骨架的异质性，仅使用同质骨架构建模型。此外，开放词汇动作识别也对实际应用至关重要。为此，本工作研究了具有开放词汇的异质骨架基动作识别这一具有挑战性的问题。我们通过整合和细化多个代表性大规模骨架基动作数据集，构建了大规模异质开放词汇（HOV）骨架数据集。为解决通用骨架基动作识别问题，我们提出了基于Transformer的模型，包含三个关键组件：统一骨架表示、骨架运动编码器以及多层次运动文本对齐。运动编码器将多模态骨架嵌入输入到两个流基于Transformer的编码器中，以学习时空动作表示，然后映射到语义空间以与文本嵌入对齐。多层次运动文本对齐包含三个层次的对比学习：全局实例对齐、流特定对齐和细粒度对齐。在使用异质骨架数据进行多个主流基准测试上的大量实验表明，所提方法的有效性和泛化能力。代码可在 https://github.com/jidongkuang/Universal-Skeleton 获取。