基于多尺度时空骨架匹配的一次性动作识别
计算机视觉与模式识别
2024-02-07 v2 人工智能
摘要
一次性骨架动作识别旨在利用单个训练样本学习骨架动作识别模型，因大规模骨架动作数据的采集与标注困难而受到越来越多的关注。然而，大多数现有研究通过直接比较特征向量来匹配骨架序列，忽略了骨架数据的空间结构与时间顺序。本文提出一种新颖的一次性骨架动作识别技术，通过多尺度时空特征匹配处理骨架动作识别。我们在多个空间与时间尺度上表示骨架数据，并从两个角度实现最优特征匹配。其一是多尺度匹配，同时捕获骨架数据在多个空间与时间尺度上的尺度间语义相关性。其二是跨尺度匹配，通过捕获跨多个尺度的样本间相关性来处理不同的运动幅度与速度。在三个大规模数据集（NTU RGB+D、NTU RGB+D 120 与 PKU-MMD）上的大量实验表明，我们的方法实现了优越的一次性骨架动作识别，并持续大幅优于当前最优（state-of-the-art）方法。
引用
@article{arxiv.2307.07286,
title = {One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching},
author = {Siyuan Yang and Jun Liu and Shijian Lu and Er Meng Hwa and Alex C. Kot},
journal= {arXiv preprint arXiv:2307.07286},
year = {2024}
}
备注
8 pages, 4 figures, 6 tables. Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence