HiCo：面向无监督基于骨架的动作表征学习的层次化对比框架
计算机视觉与模式识别
2022-12-06 v1
摘要
本文面向无监督基于骨架的动作表征学习，提出了一种新的层次化对比（HiCo）框架。不同于现有基于对比的方法通常将输入的骨架序列表示为实例级特征并整体地进行对比，我们提出的 HiCo 将输入表示为多层次特征并以层次化方式执行对比。具体而言，给定人体骨架序列，我们通过序列到序列（S2S）编码器与统一下采样模块，从时间和空间域以不同粒度将其表示为多个特征向量。此外，层次化对比在四个层面进行：实例级、域级、片段级和部件级。而且，HiCo 与 S2S 编码器正交，这使我们能够灵活采用最先进的 S2S 编码器。在 NTU-60、NTU-120、PKU-MMD I 和 II 四个数据集上的大量实验表明，HiCo 在动作识别与检索两个下游任务中实现了无监督基于骨架的动作表征学习的新最优性能，且其学到的动作表征具有良好的可迁移性。此外，我们还展示了我们的框架对半监督基于骨架的动作识别同样有效。我们的代码见 https://github.com/HuiGuanLab/HiCo。
引用
@article{arxiv.2212.02082,
title = {Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning},
author = {Jianfeng Dong and Shengkai Sun and Zhonglin Liu and Shujie Chen and Baolong Liu and Xun Wang},
journal= {arXiv preprint arXiv:2212.02082},
year = {2022}
}
备注
Accepted by AAAI 2023. The code is available at http://github.com/HuiGuanLab/HiCo