用于在线知识蒸馏的通道自监督
计算机视觉与模式识别
2022-03-24 v2
摘要
近年来，研究人员对在线知识蒸馏的兴趣日益浓厚。在线蒸馏采用单阶段端到端的训练方式，利用多个同侪模型的聚合中间预测结果进行训练。然而，由于缺乏强大的教师模型，同侪之间可能出现同质化问题，从而对组蒸馏的有效性产生不利影响。本文提出了一种新颖的在线知识蒸馏方法，即用于在线知识蒸馏的通道自监督（CSS），它从输入、目标和网络三个维度构建多样性，以缓解同质化问题。具体而言，我们构建了双网络多分支结构，并通过自监督学习增强分支间的多样性，采用特征级变换并扩充相应的标签。同时，双网络结构具有更大的独立参数空间，能够抵抗蒸馏过程中的同质化问题。在 CIFAR-100 上的大量定量实验表明，我们的方法比 OKDDip 提供了更大的多样性，并且也取得了相当大的性能提升，甚至超过了 PCL 等最先进方法。在三个细粒度数据集（StanfordDogs、StanfordCars、CUB-200-211）上的结果也表明了我们的方法具有显著的泛化能力。
引用
@article{arxiv.2203.11660,
title = {Channel Self-Supervision for Online Knowledge Distillation},
author = {Shixiao Fan and Xuan Cheng and Xiaomin Wang and Chun Yang and Pan Deng and Minghui Liu and Jiali Deng and Ming Liu},
journal= {arXiv preprint arXiv:2203.11660},
year = {2022}
}