用于语义分割的跨图像关系知识蒸馏
计算机视觉与模式识别
2022-05-11 v2
摘要
当前用于语义分割的知识蒸馏 (KD) 方法通常引导学生去模仿教师从单个数据样本生成的结构化信息。然而，它们忽略了跨不同图像的像素之间的全局语义关系，而这些关系对 KD 很有价值。本文提出一种新颖的跨图像关系 KD (CIRKD)，其专注于迁移整个图像中结构化的像素到像素和像素到区域的关系。其动机是一个好的教师网络能够就全局像素依赖性构建结构良好的特征空间。CIRKD 使学生更好地模仿教师的结构化语义关系，从而提升分割性能。在 Cityscapes、CamVid 和 Pascal VOC 数据集上的实验结果证明了我们提出的方法相对于最先进蒸馏方法的有效性。代码可在 https://github.com/winycg/CIRKD 获取。
引用
@article{arxiv.2204.06986,
title = {Cross-Image Relational Knowledge Distillation for Semantic Segmentation},
author = {Chuanguang Yang and Helong Zhou and Zhulin An and Xue Jiang and Yongjun Xu and Qian Zhang},
journal= {arXiv preprint arXiv:2204.06986},
year = {2022}
}
备注
Accepted by CVPR-2022