利用交互对象信息改进基于骨架的动作识别
计算机视觉与模式识别
2025-01-10 v1 人工智能
摘要
人体骨架信息在基于骨架的动作识别中很重要，它提供了一种简单有效的方式来描述人体姿态。然而，现有的基于骨架的方法更关注骨架，忽略了与人类交互的对象，导致在识别涉及对象交互的动作时性能较差。我们提出了一种新的动作识别框架，引入对象节点来补充缺失的交互对象信息。我们还提出了时空可变图卷积网络（ST-VGCN）来有效建模包含对象节点的可变图（VG）。具体来说，为了验证交互对象信息的作用，通过利用简单的自训练方法，我们建立了一个新数据集JXGC 24和一个扩展数据集NTU RGB+D+Object 60，包含超过200万个额外对象节点。同时，我们设计了可变图构建方法以适应图结构中可变数量的节点。此外，我们是第一个探索引入额外对象信息带来的过拟合问题，并提出了一种基于VG的数据增强方法来解决这个问题，称为随机节点攻击。最后，在网络结构方面，我们引入了两个融合模块CAF和WNPool，以及一种新颖的节点平衡损失，通过有效融合和平衡骨架与对象节点信息来增强综合性能。我们的方法在多个基于骨架的动作识别基准上超越了先前的最先进技术。在NTU RGB+D 60跨主体分割上准确率为96.7%，在跨视角分割上为99.2%。
引用
@article{arxiv.2501.05066,
title = {Improving Skeleton-based Action Recognition with Interactive Object Information},
author = {Hao Wen and Ziqian Lu and Fengli Shen and Zhe-Ming Lu and Jialin Cui},
journal= {arXiv preprint arXiv:2501.05066},
year = {2025}
}