通过部分级知识蒸馏增强低质量骨架数据的动作识别
计算机视觉与模式识别
2024-04-30 v1
摘要
基于骨架的动作识别对于理解以人为中心的视频至关重要，并在多个领域有应用。基于骨架的动作识别面临的挑战之一是处理低质量数据，例如具有缺失或不准确关节的骨架。本文通过一个通用的知识蒸馏框架，解决了使用低质量骨架增强动作识别的问题。所提出的框架采用教师-学生模型设置，其中在高质量骨架上训练的教师模型指导处理低质量骨架的学生模型的学习。为了弥合异构高质量和低质量骨架之间的差距，我们提出了一种新颖的基于部分骨架匹配策略，该策略利用共享的身体部位来促进局部动作模式学习。开发了一个动作特定部分矩阵来强调不同动作的关键部分，使学生模型能够提炼出判别性的部分级知识。一种新颖的部分级多样本对比损失实现了从多个高质量骨架到低质量骨架的知识迁移，使得所提出的知识蒸馏框架能够包含缺乏对应高质量匹配的训练低质量骨架。在NTU-RGB+D、Penn Action和SYSU 3D HOI数据集上进行的全面实验证明了所提出知识蒸馏框架的有效性。
引用
@article{arxiv.2404.18206,
title = {Enhancing Action Recognition from Low-Quality Skeleton Data via Part-Level Knowledge Distillation},
author = {Cuiwei Liu and Youzhi Jiang and Chong Du and Zhaokui Li},
journal= {arXiv preprint arXiv:2404.18206},
year = {2024}
}