用于自监督基于骨架的动作识别的对比-重构表征学习
计算机视觉与模式识别
2023-02-14 v2
摘要
基于骨架的动作识别广泛应用于监控、人机交互等多个领域。现有模型主要以监督方式学习，因而严重依赖大规模标注数据，而当标注成本过高时这些数据难以获取。本文提出一种新颖的对比-重构表征学习网络（CRRL），可同时捕捉姿态与运动动态，用于无监督的基于骨架的动作识别。它主要由三部分组成：序列重构器、对比运动学习器与信息融合器。序列重构器通过重构从骨架坐标序列中学习表征，因此所学表征倾向于关注琐碎的姿态坐标，且在运动学习上犹豫不决。为增强运动学习，对比运动学习器分别在坐标序列与额外的速度序列所学表征之间进行对比学习。最后，在信息融合器中，我们探索多种策略以结合序列重构器与对比运动学习器，并提出通过基于知识蒸馏的融合策略将对比运动学习器中的运动学习迁移至序列重构器，从而同时捕捉姿态与运动。在 NTU RGB+D 60、NTU RGB+D 120、CMU mocap 与 NW-UCLA 等多个基准上的实验结果表明，所提出的 CRRL 方法大幅优于当前最优方法，展现出良好前景。
引用
@article{arxiv.2111.11051,
title = {Contrast-reconstruction Representation Learning for Self-supervised Skeleton-based Action Recognition},
author = {Peng Wang and Jun Wen and Chenyang Si and Yuntao Qian and Liang Wang},
journal= {arXiv preprint arXiv:2111.11051},
year = {2023}
}
备注
Publised in IEEE TIP. (https://ieeexplore.ieee.org/document/9901454)