基于迁移学习的空间 Transformer 网络用于小样本细粒度骨架太极拳动作识别
计算机视觉与模式识别
2022-07-01 v1
摘要
人体动作识别是一个被大量研究的领域，其中大多数卓越的动作识别网络通常使用大规模粗粒度日常人体动作数据集作为输入来彰显其网络优越性。我们旨在利用神经网络识别小规模细粒度太极拳动作数据集，并提出一种使用 NTU RGB+D 数据集预训练网络的迁移学习方法。更具体地，该方法首先使用大规模 NTU RGB+D 数据集预训练基于 Transformer 的动作识别网络以提取人体运动中的通用特征。随后我们冻结除全连接（FC）层外的网络权重，并仅将太极拳动作作为输入来训练初始化后的 FC 权重。实验结果表明，我们的通用模型流程即使在少量输入下也能达到小规模细粒度太极拳动作识别的高准确率，并证明与既往太极拳动作识别方法相比，我们的方法取得了最先进的性能。
引用
@article{arxiv.2206.15002,
title = {Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition},
author = {Lin Yuan and Zhen He and Qiang Wang and Leiyang Xu and Xiang Ma},
journal= {arXiv preprint arXiv:2206.15002},
year = {2022}
}
备注
6 pages, 4 figures