异构骨架基础动作表示学习
计算机视觉与模式识别
2025-06-05 v1
摘要
骨架基的人体动作识别因其多样化的应用场景而受到广泛关注。由于人体骨架的不同来源，骨架数据本质上呈现异构性。然而，现有工作忽视了人体骨架的异构性，仅针对均质骨架构建模型。本文针对异构骨架基的动作表示学习挑战，特别关注处理在关节维度和拓扑结构上不同的骨架数据。我们提出的框架由两个主要组件构成：异构骨架处理和统一表示学习。前者首先通过辅助网络将二维骨架数据转换为三维骨架，然后使用骨架特定的提示构建统一的骨架。我们还设计了一种额外的模态名称为语义运动编码，以利用骨架中的语义信息。后者模块使用共享的 backbone 网络学习统一的动作表示，该网络处理不同的异构骨架。在 NTU-60、NTU-120 和 PKU-MMD II 数据集上进行的大量实验表明，我们的方法在各种动作理解任务中有效。我们的 метод 可应用于不同人oid 结构的机器人动作识别。
引用
@article{arxiv.2506.03481,
title = {Heterogeneous Skeleton-Based Action Representation Learning},
author = {Hongsong Wang and Xiaoyan Ma and Jidong Kuang and Jie Gui},
journal= {arXiv preprint arXiv:2506.03481},
year = {2025}
}
备注
To appear in CVPR 2025