用于细粒度基于骨架动作识别的小波解耦对比增强网络
计算机视觉与模式识别
2024-04-02 v1 多媒体
摘要
基于骨架的动作识别因其简洁性和鲁棒性而备受关注。然而,相似动作序列中极小的类间差异往往会导致混淆。固有的时空耦合特性使得挖掘关节运动轨迹中的细微差异极具挑战性,而这对于区分易混淆的细粒度动作至关重要。为了缓解这一问题,我们提出了一种小波注意力解耦(WAD)模块,利用离散小波变换在时频域有效解耦显著和细微的运动特征。随后,解耦注意力自适应地重新校准它们的时间响应。为了进一步放大这些细微运动特征中的差异,我们提出了一种细粒度对比增强(FCE)模块,通过对比学习增强对轨迹特征的关注。我们在粗粒度数据集 NTU RGB+D 和细粒度数据集 FineGYM 上进行了大量实验。与最先进的方法相比,我们的方法表现出竞争力,并且能很好地区分易混淆的细粒度动作。
引用
@article{arxiv.2402.02210,
title = {Wavelet-Decoupling Contrastive Enhancement Network for Fine-Grained Skeleton-Based Action Recognition},
author = {Haochen Chang and Jing Chen and Yilin Li and Jixiang Chen and Xiaofeng Zhang},
journal= {arXiv preprint arXiv:2402.02210},
year = {2024}
}
备注
Accepted by ICASSP 2024