用于基于骨架动作识别的幂等无监督表示学习
计算机视觉与模式识别
2024-10-29 v1 人工智能
摘要
生成模型作为强大的生成技术，也逐渐成为识别任务的关键工具。然而，在基于骨架的动作识别中，从现有预训练生成方法获得的特征包含与识别无关的冗余信息，这与骨架空间稀疏和时间一致的性质相矛盾，导致性能不佳。为了应对这一挑战，我们努力弥合理论和方法上的差距，提出了一种用于无监督表示学习的基于骨架的新型幂等生成模型（IGM）。更具体地说，我们首先在理论上证明了生成模型与最大熵编码之间的等价性，这展示了一条通过引入对比学习使生成模型特征更紧凑的潜在途径。为此，我们引入幂等性约束以在特征空间中形成更强的一致性正则化，以推动特征仅保留识别任务所需的运动语义关键信息。我们在基准数据集 NTU RGB+D 和 PKUMMD 上进行的大量实验证明了所提方法的有效性。在 NTU 60 xsub 数据集上，我们观察到性能从 84.6 提升至 86.2。此外，在零样本适应场景中，我们的模型展现出显著的有效性，在以前无法识别的情况下取得了可喜的结果。我们的项目可在 \url{https://github.com/LanglandsLin/IGM} 获取。
引用
@article{arxiv.2410.20349,
title = {Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition},
author = {Lilang Lin and Lehong Wu and Jiahang Zhang and Jiaying Liu},
journal= {arXiv preprint arXiv:2410.20349},
year = {2024}
}
备注
ECCV 2024