基于跨视图一致性追求的3D人体动作表征学习
计算机视觉与模式识别
2021-05-04 v2
摘要
在这项工作中,我们提出了一种用于无监督基于3D骨架的动作表征(CrosSCLR)的跨视图对比学习框架,通过利用多视图互补监督信号。CrosSCLR由单视图对比学习(SkeletonCLR)与跨视图一致知识挖掘(CVC-KM)模块组成,以协作学习的方式集成。需注意,CVC-KM的工作方式为:根据嵌入相似度在视图间交换高置信度正/负样本及其分布,确保对比上下文(即相似分布)方面的跨视图一致性。大量实验表明,CrosSCLR在无监督设定下于NTU-60与NTU-120数据集上取得了显著的动作识别结果,且观测到更高质量的 action representations(动作表征)。我们的代码可在 https://github.com/LinguoLi/CrosSCLR 获取。
引用
@article{arxiv.2104.14466,
title = {3D Human Action Representation Learning via Cross-View Consistency Pursuit},
author = {Linguo Li and Minsi Wang and Bingbing Ni and Hang Wang and Jiancheng Yang and Wenjun Zhang},
journal= {arXiv preprint arXiv:2104.14466},
year = {2021}
}
备注
Accepted in CVPR 2021