用于零样本骨架动作识别的句法引导生成嵌入
计算机视觉与模式识别
2021-06-30 v2 图形学
多媒体
摘要
我们提出 SynSE，一种用于零样本学习（ZSL）的新颖句法引导生成方法。我们的端到端方法学习在所涉及模态（视觉、语言）内部和之间受约束的逐步精炼生成嵌入空间。模态间约束定义于动作序列嵌入与相应动作描述中词性（PoS）标注词的嵌入之间。我们将 SynSE 部署于基于骨架的动作序列识别任务。我们的设计选择使 SynSE 能够组合式泛化，即识别动作描述包含训练时未遇见词汇的序列。我们还通过基于置信度的门控机制将方法扩展到更具挑战的广义零样本学习（GZSL）问题。我们首次在大规模 NTU-60 和 NTU-120 骨架动作数据集上以多种划分给出零样本骨架动作识别结果。我们的结果表明，相较于 NTU-60 和 NTU-120 数据集上的强基线，SynSE 在 ZSL 和 GZSL 设定下均取得最优性能。代码和预训练模型可在 https://github.com/skelemoa/synse-zsl 获取。
引用
@article{arxiv.2101.11530,
title = {Syntactically Guided Generative Embeddings for Zero-Shot Skeleton Action Recognition},
author = {Pranay Gupta and Divyanshu Sharma and Ravi Kiran Sarvadevabhatla},
journal= {arXiv preprint arXiv:2101.11530},
year = {2021}
}
备注
Accepted at ICIP-2021. Code and pretrained models available at https://github.com/skelemoa/synse-zsl