面向骨架基准模糊动作识别的同步细粒度头部
计算机视觉与模式识别
2025-03-11 v2
摘要
基于骨架的动作识别使用 GCN 已取得显著成果，但识别模糊动作（如“挥手”和“报到”）仍是重要挑战。现有方法通常依赖 GCN 与 TCN 的串行组合，其中空间和时间特征独立提取，导致时空信息不平衡，阻碍准确动作识别。此外，现有方法往往过度强调局部细节，导致关键全局上下文丢失，进一步复杂化了区分模糊动作的任务。为解决这些挑战，我们提出一种轻量级即插即用模块，称为 SF-Head，插入 GCN 与 TCN 层之间。SF-Head 首先通过特征冗余损失（F-RL）进行 SSTE，以确保平衡的相互作用。随后进行 AC-FA，并通过特征一致性损失（F-CL）实现与原始时空特征的对齐。在 NTU RGB+D 60、NTU RGB+D 120、NW-UCLA 和 PKU-MMD I 数据集上的实验结果表明，在区分模糊动作方面显著提高了性能。
引用
@article{arxiv.2412.14833,
title = {Synchronized and Fine-Grained Head for Skeleton-Based Ambiguous Action Recognition},
author = {Hao Huang and Yujie Lin and Siyu Chen and Haiyang Liu},
journal= {arXiv preprint arXiv:2412.14833},
year = {2025}
}
备注
25pages