基于类注意力迁移的知识蒸馏
计算机视觉与模式识别
2023-04-26 v1
摘要
以往的知识蒸馏方法在模型压缩任务上展现了令人印象深刻的性能，然而很难解释它们迁移的知识如何帮助提升学生网络的性能。本工作中，我们致力于提出一种兼具高可解释性与有竞争力性能的知识蒸馏方法。我们首先重新审视主流CNN模型的结构，揭示具备识别输入中类判别区域的能力对CNN执行分类至关重要。此外，我们证明该能力可通过迁移类激活图获得并增强。基于我们的发现，提出了基于类注意力迁移的知识蒸馏（CAT-KD）。与以往KD方法不同，我们探索并给出了本方法所迁移知识的若干性质，这不仅提升了CAT-KD的可解释性，也有助于更好地理解CNN。在具有高可解释性的同时，CAT-KD在多个基准上取得了最先进的性能。代码见：https://github.com/GzyAftermath/CAT-KD。
引用
@article{arxiv.2304.12777,
title = {Class Attention Transfer Based Knowledge Distillation},
author = {Ziyao Guo and Haonan Yan and Hui Li and Xiaodong Lin},
journal= {arXiv preprint arXiv:2304.12777},
year = {2023}
}
备注
Accepted by CVPR 2023