基于复习机制缓解知识蒸馏容量差距的人群计数方法
机器学习
2022-06-14 v1 多媒体
摘要
轻量级人群计数模型，尤其是基于知识蒸馏(KD)的模型，因其在计算效率与硬件需求上的优势，近年来受到日益关注。然而，现有基于 KD 的模型通常受困于容量差距问题，导致学生网络性能受限于教师网络。本文受人类学习中的复习机制启发，在 KD 模型后引入新颖复习机制以解决该问题，所提模型故称 ReviewKD。该模型由讲授阶段与复习阶段组成：在讲授阶段，我们首先利用训练完备的厚重教师网络将其潜在特征迁移至轻量级学生网络；随后在复习阶段，通过复习机制基于所学特征产出密度图的精炼估计。在六个基准数据集上与最先进(SOTA)模型对比的一组实验证明了 ReviewKD 的有效性。数值结果表明，ReviewKD 优于现有轻量级人群计数模型，能有效缓解容量差距问题，且性能尤超越教师网络。除轻量级模型外，我们亦表明所提复习机制可作为即插即用模块，在不修改神经网络架构且不引入任何额外模型参数的情况下，进一步提升一类厚重人群计数模型的性能。
引用
@article{arxiv.2206.05475,
title = {Reducing Capacity Gap in Knowledge Distillation with Review Mechanism for Crowd Counting},
author = {Yunxin Liu and Qiaosi Yi and Jinshan Zeng},
journal= {arXiv preprint arXiv:2206.05475},
year = {2022}
}