MS$^2$L：基于骨架动作识别的多任务自监督学习
计算机视觉与模式识别
2020-10-15 v2 人工智能
摘要
本文研究从人体骨架中进行动作识别的自监督表示学习。以往方法通常从单一重建任务学习特征表示，可能遇到过拟合问题，且所学特征对动作识别缺乏泛化性。为此，我们提出以自监督方式整合多个任务来学习更具通用性的表示。为实现该目标，我们融合运动预测、拼图识别与对比学习，从不同侧面学习骨架特征。通过预测未来序列，运动预测可建模骨架动态；而对动作识别至关重要的时序模式则通过求解拼图来学习。我们进一步借助对比学习正则化特征空间。此外，我们探索了不同训练策略，以利用自监督任务的知识服务于动作识别。我们在 NW-UCLA、NTU RGB+D 与 PKUMMD 数据集上，以无监督、半监督与全监督等多种配置下训练的动作分类器评估了我们的多任务自监督学习方法。实验显示出动作识别的优异性能，证明了该方法在学习更具判别性与通用性特征上的优势。项目主页见 https://langlandslin.github.io/projects/MSL/。
引用
@article{arxiv.2010.05599,
title = {MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action Recognition},
author = {Lilang Lin and Sijie Song and Wenhan Yan and Jiaying Liu},
journal= {arXiv preprint arXiv:2010.05599},
year = {2020}
}
备注
Accepted by ACMMM 2020