从单标签到多标签的知识蒸馏：一项实证研究
计算机视觉与模式识别
2023-03-16 v1
摘要
知识蒸馏（KD）在单标签图像分类中已被广泛研究。然而，其在多标签分类中的有效性仍相对未被探索。本研究首先考察了经典 KD 技术（包括基于 logit 和基于特征的方法）在多标签分类中的有效性。我们的发现表明，基于 logit 的方法并不适合多标签分类，因为教师模型无法提供类别间相似性信息，也无法对学生模型训练产生正则化效应。此外，我们观察到基于特征的方法难以同时传达多个标签的紧凑信息。鉴于这些局限，我们提出合适的暗知识应融入类别级信息，并与最终分类结果高度相关。为解决这些问题，我们引入了一种基于类激活图（CAMs）的新颖蒸馏方法，该方法有效且易于实现。在广泛的设置下，基于 CAMs 的蒸馏始终优于其他方法。
引用
@article{arxiv.2303.08360,
title = {Knowledge Distillation from Single to Multi Labels: an Empirical Study},
author = {Youcai Zhang and Yuzhuo Qin and Hengwei Liu and Yanhao Zhang and Yaqian Li and Xiaodong Gu},
journal= {arXiv preprint arXiv:2303.08360},
year = {2023}
}