探索通道间相关性以保持多样性的知识蒸馏
计算机视觉与模式识别
2022-02-09 v1 人工智能
摘要
知识蒸馏在将所学表示从较大模型（教师）迁移到较小模型（学生）方面已展现出极具前景的能力。尽管已有诸多努力，已有方法忽视了保留特征通道间相关性的重要作用，导致缺乏对特征空间内在分布及教师网络特征充分多样性属性的捕捉。为解决该问题，我们提出新颖的通道间相关性知识蒸馏（ICKD），使学生网络特征空间的多样性与同源性可对齐教师网络。若两通道彼此无关，则其相关性解释为多样性，否则为同源性。随后要求学生在其自身嵌入空间内模仿该相关性。此外，我们引入网格级通道间相关性，使其能胜任密集预测任务。在包括ImageNet分类与Pascal VOC分割的两个视觉任务上的大量实验证明了我们ICKD的优越性，其持续优于许多现有方法，推进了知识蒸馏领域的SOTA。据我们所知，我们是首个基于知识蒸馏将ResNet18在ImageNet分类上Top-1准确率提升至超过72%的方法。代码见：https://github.com/ADLab-AutoDrive/ICKD。
引用
@article{arxiv.2202.03680,
title = {Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation},
author = {Li Liu and Qingle Huang and Sihao Lin and Hongwei Xie and Bing Wang and Xiaojun Chang and Xiaodan Liang},
journal= {arXiv preprint arXiv:2202.03680},
year = {2022}
}
备注
Accepted by ICCV 2021