用于半监督骨架动作识别的金字塔自注意力聚合学习
计算机视觉与模式识别
2023-02-07 v1
摘要
大多数半监督骨架动作识别方法旨在仅在关节级别学习骨架动作表示，但忽略了在更粗粒度的身体（例如，肢体、躯干）级别上提供丰富额外语义信息的关键运动特征，尽管标记数据有限。在这项工作中，我们提出了一种新颖的金字塔自注意力聚合学习（简称 PSP Learning）框架，通过覆盖从粗到细粒度的对比学习，联合学习关节和运动数据的身体级、部件级和关节级动作表示，这些数据包含丰富且互补的语义信息。具体来说，为了补充骨架动作中从粗到细粒度的语义信息，我们设计了一种新的金字塔聚合注意力（PPA）机制，该机制首先计算身体级注意力图、部件级注意力图和关节级注意力图，然后以逐级方式（即从身体级到部件级，再到关节级）聚合这些注意力图。此外，我们提出了一种新的从粗到细对比损失（CCL），包括身体级对比损失、部件级对比损失和关节级对比损失，以联合衡量关节和运动数据的身体/部件/关节级对比特征之间的相似性。最后，在 NTU RGB+D 和 North-Western UCLA 数据集上进行了大量实验，以证明所提出的 PSP Learning 在半监督骨架动作识别任务中的竞争性能。PSP Learning 的源代码可在 https://github.com/1xbq1/PSP-Learning 公开获取。
引用
@article{arxiv.2302.02327,
title = {Pyramid Self-attention Polymerization Learning for Semi-supervised Skeleton-based Action Recognition},
author = {Binqian Xu and Xiangbo Shu},
journal= {arXiv preprint arXiv:2302.02327},
year = {2023}
}