基于骨架的联合姿态-语言语义空间零样本动作识别
计算机视觉与模式识别
2019-11-27 v1
摘要
如何表征一个动作？如何描述一个我们从未见过的动作？此类问题由零样本学习范式所解决，其中模型仅在部分类别上训练，并评估其正确分类来自未见类别的样本的能力。本文提出一种基于身体姿态的零样本动作识别网络，并在 NTU RGB-D 数据集上展示其性能。我们的模型学习联合封装基于动作执行者姿态特征的视觉相似性，以及未见动作类名的自然语言描述之间的相似性。我们展示了该姿态-语言语义空间如何编码知识，使我们的模型能够正确预测训练期间未见的动作。
引用
@article{arxiv.1911.11344,
title = {Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space},
author = {Bhavan Jasani and Afshaan Mazagonwalla},
journal= {arXiv preprint arXiv:1911.11344},
year = {2019}
}