从时空立体主义学习用于跨数据集基于骨架的动作识别
计算机视觉与模式识别
2022-07-19 v1
摘要
近年来，基于骨架的动作识别取得了快速进展和优越性能。在本文中，我们在跨数据集设定下研究该问题，这是真实场景中的一个新颖、实用且具有挑战性的任务。遵循无监督域适应（UDA）范式，动作标签仅在源数据集上可用，而在训练阶段目标数据集上不可用。与传统的基于对抗学习的 UDA 方法不同，我们利用自监督方案来减小两个基于骨架的动作数据集之间的域偏移。我们的灵感来自立体主义（Cubism）——一个 20 世纪初的艺术流派，它打破并重新组装物体以传达更广阔的语境。通过分割和置换时间片段或人体部位，我们设计了两个自监督学习分类任务，以探索基于骨架动作的时间与空间依赖性，并提升模型的泛化能力。我们在六个基于骨架的动作识别数据集上进行了实验，包括三个大规模数据集（NTU RGB+D、PKU-MMD 和 Kinetics），其中建立新的跨数据集设定与基准。大量结果表明我们的方法优于最先进的（state-of-the-art）方法。我们的模型及所有对比方法的源代码可在 https://github.com/shanice-l/st-cubism 获取。
引用
@article{arxiv.2207.08095,
title = {Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition},
author = {Yansong Tang and Xingyu Liu and Xumin Yu and Danyang Zhang and Jiwen Lu and Jie Zhou},
journal= {arXiv preprint arXiv:2207.08095},
year = {2022}
}
备注
Accepted by ACM TOMM, https://dl.acm.org/doi/10.1145/3472722