通过知识蒸馏提升头部姿态估计
计算机视觉与模式识别
2022-01-31 v2
摘要
我们提出一种基于响应的知识蒸馏（KD）方法用于头部姿态估计问题。由所提 KD 训练的学生模型取得了优于教师模型的结果，这对于基于响应的方法而言并不常见。我们的方法包含两个阶段。第一阶段，我们训练基础神经网络（NN），其具有一个回归头与四个基于分类的回归（RvC）头。我们在基础 NN 上利用人脸边界框在规则网格上的偏移构建卷积集成。第二阶段，我们将卷积集成中的知识蒸馏到具有一个 RvC 头的最终 NN 中。与基础 NN 相比，KD 平均提升结果 7.7%。该特性使得 KD 可用作提升器并有效训练更深的 NN。由我们的 KD 方法训练的 NN 部分改进了当前最优结果。KD-ResNet152 取得最佳结果，且 KD-ResNet18 在 AFLW2000 数据集上的结果优于以往任何方法。我们已公开 300W-LP、AFLW、AFLW2000 和 BIWI 数据集上训练好的 NN 与人脸边界框。我们的方法 potentially 可对其他回归问题有效。
引用
@article{arxiv.2108.09183,
title = {Boosting of Head Pose Estimation by Knowledge Distillation},
author = {Andrey Sheka and Victor Samun},
journal= {arXiv preprint arXiv:2108.09183},
year = {2022}
}