SCJD: 稀疏相关与联合蒸馏用于高效三维人体姿态估计
计算机视觉与模式识别
2025-07-08 v2
摘要
现有的三维人体姿态估计（3D HPE）方法精度高但计算开销大、推理速度慢，而知识蒸馏方法未能有效处理关节之间的空间关系以及多帧输入中的时间相关性。本文提出稀疏相关与联合蒸馏（Sparse Correlation and Joint Distillation, SCJD），一种在效率与精度之间取得平衡的三维 HPE 新框架。SCJD 引入稀疏相关输入序列下采样，在保留帧间相关性的同时降低学生网络输入的冗余性。为实现有效的知识迁移，本文提出动态关节空间注意力蒸馏（Dynamic Joint Spatial Attention Distillation），其中包括动态关节嵌入蒸馏（Dynamic Joint Embedding Distillation），利用教师网络的多帧上下文特征增强学生网络的特征表示，以及相邻关节注意力蒸馏（Adjacent Joint Attention Distillation），提升学生网络对相邻关节关系的关注以获得更好的空间理解。此外，时间一致性蒸馏（Temporal Consistency Distillation）通过上采样与全局监督对齐教师网络与学生网络之间的时间相关性。大量实验表明 SCJD 达到了最先进的性能。代码已发布于 https://github.com/wileychan/SCJD。
引用
@article{arxiv.2503.14097,
title = {SCJD: Sparse Correlation and Joint Distillation for Efficient 3D Human Pose Estimation},
author = {Weihong Chen and Xuemiao Xu and Haoxin Yang and Yi Xie and Peng Xiao and Cheng Xu and Huaidong Zhang and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2503.14097},
year = {2025}
}