面向自监督动作识别的部件感知对比学习
计算机视觉与模式识别
2023-05-12 v2 人工智能
摘要
近年来，基于骨架序列与对比学习的自监督动作识别取得了显著成果。研究发现，人体动作特征的语义区分通常由腿部或手部等局部身体部件表示，这有利于基于骨架的动作识别。本文提出一种用于骨架表征学习的基于注意力的对比学习框架，称为 SkeAttnCLR，其将局部相似度与全局特征相整合以用于基于骨架的动作表征。为此，采用多头注意力掩码模块从骨架中学习软注意力掩码特征，抑制非显著局部特征同时突出局部显著特征，从而在特征空间中使相似局部特征更加接近。此外，通过基于显著与非显著特征及全局特征扩展对比样本对，生成了充足的对比对，引导网络学习整个骨架的语义表征。因此，借助注意力掩码机制，SkeAttnCLR 在不同数据增强视角下学习局部特征。实验结果表明，引入局部特征相似度显著增强了基于骨架的动作表征。我们提出的 SkeAttnCLR 在 NTURGB+D、NTU120-RGB+D 和 PKU-MMD 数据集上优于当前最优方法。
引用
@article{arxiv.2305.00666,
title = {Part Aware Contrastive Learning for Self-Supervised Action Recognition},
author = {Yilei Hua and Wenhan Wu and Ce Zheng and Aidong Lu and Mengyuan Liu and Chen Chen and Shiqian Wu},
journal= {arXiv preprint arXiv:2305.00666},
year = {2023}
}
备注
7 pages, 4 figures, accepted by IJCAI 2023