用于高效姿态估计的在线知识蒸馏
计算机视觉与模式识别
2022-02-21 v2
摘要
现有最先进的人体姿态估计方法需要大量计算资源才能进行准确预测。获得准确且轻量姿态估计器的一种有前景的技术是知识蒸馏，它将姿态知识从强大的教师模型蒸馏到参数较少的学生模型。然而，现有的姿态蒸馏工作依赖于沉重的预训练估计器来执行知识迁移，并且需要复杂的两阶段学习过程。在本工作中，我们研究了一种新颖的在线知识蒸馏框架，以单阶段方式蒸馏人体姿态结构知识以保证蒸馏效率，称为 OKDHP。具体而言，OKDHP 训练一个单一的多分支网络并获取各自预测的热图，然后由特征聚合单元（FAU）组装作为目标热图反向教导每个分支。FAU 由具有不同感受野的多个并行变换组成，而非简单地平均热图，它利用了多尺度信息，从而获得更高质量的目标热图。具体而言，利用像素级 Kullback-Leibler（KL）散度来最小化目标热图与预测热图之间的差异，使学生网络学习隐式关键点关系。此外，引入了不平衡 OKDHP 方案以定制具有不同压缩率的学生网络。我们的方法的有效性通过在两个常用基准数据集 MPII 和 COCO 上的大量实验得到证明。
引用
@article{arxiv.2108.02092,
title = {Online Knowledge Distillation for Efficient Pose Estimation},
author = {Zheng Li and Jingwen Ye and Mingli Song and Ying Huang and Zhigeng Pan},
journal= {arXiv preprint arXiv:2108.02092},
year = {2022}
}
备注
ICCV 2021