基于骨架图像域不变特征的动作识别
计算机视觉与模式识别
2021-11-23 v1 人工智能
图像与视频处理
信号处理
摘要
由于所能实现的快速处理速度和鲁棒性,基于骨架的动作识别近来受到计算机视觉界的关注。近期基于卷积神经网络(CNN)的方法在学习的骨架序列时空表示方面表现出令人称赞的性能,其将骨架图像作为 CNN 的输入。由于基于 CNN 的方法主要将时间和骨架关节分别简单地编码为行和列,与所有关节相关的潜在关联可能由 2D 卷积丢失。为解决此问题,我们提出了一种新颖的基于 CNN 并结合对抗训练的动作识别方法。我们引入两级域对抗学习,分别对齐来自不同视角或主体的骨架图像特征,从而进一步提升泛化能力。我们在 NTU RGB+D 上评估了所提方法。与 SOTA 方法相比取得了有竞争力的结果,并且在跨主体和跨视角下比基线分别提升了 2.4、1.9 的准确率。
引用
@article{arxiv.2111.11250,
title = {Action Recognition with Domain Invariant Features of Skeleton Image},
author = {Han Chen and Yifan Jiang and Hanseok Ko},
journal= {arXiv preprint arXiv:2111.11250},
year = {2021}
}