基于骨架对比的3D动作表征学习
计算机视觉与模式识别
2021-08-10 v1
摘要
本文致力于骨架动作识别适用特征空间的自监督学习。我们的方法基于通过噪声对比估计学习对输入骨架表示及各种骨架增强的不变性。特别地，我们提出骨架间对比学习，以跨对比方式从多种不同输入骨架表示中学习。此外，我们贡献了若干骨架特定的空间与时间增强，进一步鼓励模型学习骨架数据的时空动态。通过同时学习不同骨架表示之间以及同一序列增强视图之间的相似性，网络被鼓励去学习比仅使用增强视图时更高层次的骨架数据语义。我们的方法在具有多个下游任务（包括动作识别、动作检索和半监督学习）的具有挑战性的PKU和NTU数据集上，实现了骨架数据自监督学习的SOTA性能。代码见 https://github.com/fmthoker/skeleton-contrast。
引用
@article{arxiv.2108.03656,
title = {Skeleton-Contrastive 3D Action Representation Learning},
author = {Fida Mohammad Thoker and Hazel Doughty and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2108.03656},
year = {2021}
}
备注
Accepted in ACM Multimedia 2021