面向语义分割的类间距离蒸馏
计算机视觉与模式识别
2022-07-18 v2
摘要
知识蒸馏被广泛用于语义分割以降低计算成本。已有的语义分割知识蒸馏方法侧重于逐像素特征对齐与类内特征差异蒸馏，忽视了迁移特征空间中类间距离的知识，而这对语义分割十分重要。为解决此问题，我们提出类间距离蒸馏（IDD）方法，将教师网络特征空间中的类间距离迁移至学生网络。此外，语义分割是一项位置相关任务，因此我们引入位置信息蒸馏模块以帮助学生网络编码更多位置信息。在 Cityscapes、Pascal VOC 和 ADE20K 三个流行数据集上的大量实验表明，我们的方法有助于提升语义分割模型的精度并取得最先进性能。例如在 Cityscapes 数据集上，它将基准模型（"PSPNet+ResNet18"）的精度提升了 7.50%。
引用
@article{arxiv.2205.03650,
title = {Distilling Inter-Class Distance for Semantic Segmentation},
author = {Zhengbo Zhang and Chunluan Zhou and Zhigang Tu},
journal= {arXiv preprint arXiv:2205.03650},
year = {2022}
}
备注
IJCAI-ECAI2022 Long Oral