细粒度侧信息引导的双提示零样本骨架动作识别

基于骨架的零样本动作识别旨在基于已知骨架动作的学习先验以及已知和未知类别共享的语义描述空间，识别未知的人体动作。然而，以往的工作侧重于在粗粒度层面建立已知骨架表示空间与语义描述空间之间的桥梁，以识别未知动作类别，忽略了这两个空间的细粒度对齐，导致在区分高相似度动作类别时性能次优。为了解决这些挑战，我们提出了一种新颖的方法，通过侧信息和双提示学习在细粒度层面进行基于骨架的零样本动作识别（STAR）。具体来说，1）我们根据骨架拓扑结构将其分解为几个部分，并引入关于人体运动多部分描述的侧信息，以实现骨架与语义空间在细粒度层面的对齐；2）我们设计了视觉属性和语义部分提示，分别提高骨架空间内的类内紧凑性和语义空间内的类间可分离性，以区分高相似度动作。大量实验表明，我们的方法在NTU RGB+D、NTU RGB+D 120和PKU-MMD数据集上的ZSL和GZSL设置中均达到了最先进的性能。