自回归自适应超图 Transformer 用于基于骨架的动作识别
计算机视觉与模式识别
2025-03-03 v2
摘要
仅使用图卷积网络（GCN）提取骨架序列中的多尺度上下文信息和高层相关性不足以实现有效的动作分类。超图卷积解决了上述问题，但无法利用长程依赖关系。Transformer 被证明在捕捉这些依赖关系和获取复杂上下文特征方面是有效的。我们提出了一种自回归自适应超图 Transformer（AutoregAd-HGformer）模型，用于同相（自回归和离散）和异相（自适应）超图生成。配备强大自回归先验的向量量化同相超图产生了更适合超边形成的更鲁棒和信息丰富的表示。异相超图生成器提供了一种模型无关的超边学习技术，以将属性与输入骨架嵌入对齐。AutoregAd-HGformer 中的混合（监督和无监督）学习在空间、时间和通道维度上探索了动作相关特征。广泛的实验结果和消融研究表明我们的模型在 NTU RGB+D、NTU RGB+D 120 和 NW-UCLA 数据集上优于最先进的超图架构。
引用
@article{arxiv.2411.05692,
title = {Autoregressive Adaptive Hypergraph Transformer for Skeleton-based Activity Recognition},
author = {Abhisek Ray and Ayush Raj and Maheshkumar H. Kolekar},
journal= {arXiv preprint arXiv:2411.05692},
year = {2025}
}
备注
Accepted to WACV 2025