AICSD：用于语义分割的自适应类间相似度蒸馏
计算机视觉与模式识别
2023-08-09 v1
摘要
近年来，深度神经网络在计算机视觉任务中取得了显著的精度。由于推理时间是一个关键因素，尤其在语义分割等密集预测任务中，知识蒸馏已成为提升轻量级学生网络精度的成功技术。现有方法常忽视通道中及不同类之间的信息。为克服这些局限，本文提出一种称为类间相似度蒸馏（ICSD）的新方法用于知识蒸馏。该方法通过从网络输出中为每个类独立计算类内分布，将教师网络的高阶关系迁移至学生网络，随后利用每对类分布间的KL散度计算类间相似度矩阵用于蒸馏。为进一步提升所提方法的有效性，提出了自适应损失加权（ALW）训练策略。与现有方法不同，ALW策略在训练过程末期逐步降低教师网络的影响，以考虑教师预测中的误差。在两个知名语义分割数据集 Cityscapes 和 Pascal VOC 2012 上进行的大量实验，从 mIoU 和像素精度方面验证了所提方法的有效性。定量与定性评估均表明，所提方法优于大多数现有知识蒸馏方法。代码见：https://github.com/AmirMansurian/AICSD
引用
@article{arxiv.2308.04243,
title = {AICSD: Adaptive Inter-Class Similarity Distillation for Semantic Segmentation},
author = {Amir M. Mansourian and Rozhan Ahmadi and Shohreh Kasaei},
journal= {arXiv preprint arXiv:2308.04243},
year = {2023}
}
备注
10 pages, 5 figures, 5 tables