借助标签辅助构建强大的教师模型：语义分割任务的一种新型知识蒸馏方法
计算机视觉与模式识别
2024-07-19 v1
摘要
本文提出了一种用于语义分割任务的新型知识蒸馏方法。不同于以往依赖强教师模型或其他模态提供额外知识的做法，本方法无需复杂的教师模型或额外传感器的信息。具体而言，对于教师模型的训练，我们提出对标签进行噪声化处理并将其输入，以有效提升轻量级教师模型的性能。为确保教师模型对引入噪声的鲁棒性，我们提出一种双路径一致性训练策略，通过两种路径输出之间的距离损失实现。对于学生模型的训练，保持与标准蒸馏方式一致以简化操作。我们的方法不仅提升了知识蒸馈的效果，还增加了在选择教师模型和学生模型方面的灵活性。为验证标签辅助蒸馏（LAD）方法的优势，我们在包括 Cityscapes、ADE20K、PASCAL-VOC、COCO-Stuff 10K 和 COCO-Stuff 164K 在内的五个具有挑战性的数据集上进行了广泛实验，以及五个流行模型：FCN、PSPNet、DeepLabV3、STDC 和 OCRNet，实验结果表明了该方法的有效性与广泛性。我们认为，将标签纳入输入中（正如本文所示）将为相关领域提供宝贵的洞见。代码已公开于 https://github.com/skyshoumeng/Label_Assisted_Distillation。
引用
@article{arxiv.2407.13254,
title = {Make a Strong Teacher with Label Assistance: A Novel Knowledge Distillation Approach for Semantic Segmentation},
author = {Shoumeng Qiu and Jie Chen and Xinrun Li and Ru Wan and Xiangyang Xue and Jian Pu},
journal= {arXiv preprint arXiv:2407.13254},
year = {2024}
}