I2CKD：语义分割中的类内及类间知识蒸馏
计算机视觉与模式识别
2025-09-01 v2
摘要
本文提出一种新的知识蒸馏方法，专为图像语义分割设计，称为类内及类间知识蒸馏（Intra- and Inter-Class Knowledge Distillation，I2CKD）。该方法的重点在于捕获和传输教师网络（计算密集型模型）与学生网络（紧凑型模型）中间层之间的知识。对于知识提取，我们利用从特征图中导出的类原型。为促进知识传输，我们采用三角损失函数，以最小化教师与学生原型之间类内方差并最大化类间方差。因此，I2CKD使学生网络能够更好地模仿教师网络对每个类别的特征表示，从而提升紧凑型网络的分割性能。在三个分割数据集上进行的大量实验（即 Cityscapes、Pascal VOC 和 CamVid），使用 various 教师-学生网络对，都表明了所提出方法的有效性。
引用
@article{arxiv.2403.18490,
title = {I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation},
author = {Ayoub Karine and Thibault Napoléon and Maher Jridi},
journal= {arXiv preprint arXiv:2403.18490},
year = {2025}
}