基于结构化知识迁移的高效人群计数

人群计数是一项面向应用的任务，其推理效率对实际部署至关重要。然而，以往大多数工作依赖沉重的骨干网络并需要极高的运行时间消耗，严重限制了其部署范围并导致可扩展性差。为解放这些人群计数模型，我们提出了一种新颖的结构化知识迁移（SKT）框架，其充分利用训练良好的教师网络的结构化知识来生成轻量但依然高效的 student 网络。具体而言，它集成了两个互补的迁移模块：层内模式迁移（Intra-Layer Pattern Transfer）顺序蒸馏教师网络逐层特征中的知识以引导学生网络的特征学习，以及层间关系迁移（Inter-Layer Relation Transfer）密集蒸馏教师的跨层关联知识以正则化学生的特征演化。因此，我们的学生网络可从教师网络获取逐层和跨层知识，学习紧凑而有效的特征。在三个基准上的大量评估充分证明了我们的 SKT 对多种人群计数模型的有效性。特别地，仅使用原始模型约 $6\%$ 的参数量和计算成本，我们蒸馏的基于 VGG 的模型在 Nvidia 1080 GPU 上获得至少 6.5$\times$ 加速，甚至达到最先进（state-of-the-art）性能。我们的代码和模型见 {\url{https://github.com/HCPLab-SYSU/SKT}}。