DistilPose：基于热力图蒸馏的令牌化姿态回归
计算机视觉与模式识别
2023-03-17 v3
摘要
在人体姿态估计领域，基于回归的方法在速度上占主导地位，而基于热力图的方法在性能上遥遥领先。如何兼顾两种方案的优势仍是一个具有挑战性的问题。本文提出一种新颖的人体姿态估计框架DistilPose，弥合了基于热力图与基于回归方法之间的差距。具体而言，DistilPose通过令牌蒸馏编码器（TDE）与模拟热力图，最大化地将知识从教师模型（基于热力图）迁移到学生模型（基于回归）。TDE通过引入令牌化对齐基于热力图与基于回归模型的特征空间，而模拟热力图将显式的指导（分布与置信度）从教师热力图迁移至学生模型。大量实验表明，所提出的DistilPose在保持效率的同时能显著提升基于回归模型的性能。具体而言，在MSCOCO验证集上，DistilPose-S以5.36M参数、2.38 GFLOPs和40.2 FPS取得71.6% mAP，相比其教师模型节省了12.95倍、7.16倍计算开销并快4.9倍，且仅损失0.9点性能。此外，DistilPose-L在MSCOCO验证集上取得74.4% mAP，在主流基于回归的模型中实现了新的最先进水平。
引用
@article{arxiv.2303.02455,
title = {DistilPose: Tokenized Pose Regression with Heatmap Distillation},
author = {Suhang Ye and Yingyi Zhang and Jie Hu and Liujuan Cao and Shengchuan Zhang and Lei Shen and Jun Wang and Shouhong Ding and Rongrong Ji},
journal= {arXiv preprint arXiv:2303.02455},
year = {2023}
}
备注
accepted by CVPR2023