Neuron:学习上下文感知的演化表示用于零样本骨架动作识别
计算机视觉与模式识别
2024-11-27 v2
摘要
零样本骨架动作识别是一项非平凡的任务,它需要利用仅来自可见类别和共享语义的先验知识进行鲁棒的未见泛化。现有方法通常通过不可控的映射和显眼的表示来构建骨架-语义交互,因此难以捕获复杂且细粒度的关系以实现有效的跨模态可迁移性。为了解决这些问题,我们提出了一种新颖的、在上下文感知辅助信息引导下的动态演化双骨架-语义协同框架(称为 Neuron),以分别在空间和时间层面从微观到宏观视角探索更细粒度的跨模态对应关系。具体来说,1)我们首先构建时空演化的微观原型,并整合动态的上下文感知辅助信息,以逐步捕获复杂且协同的骨架-语义相关性,逐步细化跨模态对齐;2)我们引入空间压缩和时间记忆机制来引导时空微观原型的生长,使它们能够吸收与结构相关的空间表示和依赖规律的时间模式。值得注意的是,这些过程类似于神经元的学习和生长,赋予框架泛化到新颖未见动作类别的能力。在各种基准数据集上进行的大量实验证明了所提方法的优越性。
引用
@article{arxiv.2411.11288,
title = {Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition},
author = {Yang Chen and Jingcai Guo and Song Guo and Dacheng Tao},
journal= {arXiv preprint arXiv:2411.11288},
year = {2024}
}
备注
10 pages, 6 figures