用于高效语义分割的无增强稠密对比知识蒸馏
计算机视觉与模式识别
2023-12-08 v1 人工智能
机器学习
摘要
近年来，基于对比学习的知识蒸馏方法在图像分类和目标检测任务上取得了令人瞩目的结果。然而，我们注意到该研究方向对语义分割关注较少。现有方法严重依赖数据增强和内存缓冲，当将其应用于需要处理语义分割（需保留高分辨率特征图以进行稠密像素级预测）时，会带来极高的计算资源需求。为解决此问题，我们提出无增强稠密对比知识蒸馏（Af-DCD），一种用于训练紧凑且精确的深度神经网络以应用于语义分割的新型对比蒸馏学习范式。Af-DCD利用掩码特征模仿策略，并通过巧妙跨越通道和空间维度的特征划分构建新颖的对比学习损失，从而在保持训练效率的同时，将教师模型学到的稠密且结构化的局部知识有效迁移至目标学生模型。在五个主流基准上使用多种师生网络对的广泛实验证明了我们方法的有效性。例如，当选择DeepLabV3-Res101作为教师时，经Af-DCD训练的DeepLabV3-Res18|DeepLabV3-MBV2模型在Cityscapes数据集上达到77.03%|76.38% mIOU，创下了新的性能记录。此外，与独立训练的对应模型相比，Af-DCD在Cityscapes|Pascal VOC|Camvid|ADE20K|COCO-Stuff-164K上实现了3.26%|3.04%|2.75%|2.30%|1.42%的绝对mIOU提升。代码见 https://github.com/OSVAI/Af-DCD
引用
@article{arxiv.2312.04168,
title = {Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient Semantic Segmentation},
author = {Jiawei Fan and Chao Li and Xiaolong Liu and Meina Song and Anbang Yao},
journal= {arXiv preprint arXiv:2312.04168},
year = {2023}
}
备注
The paper of Af-DCD is accepted to NeurIPS 2023. Code and models are available at https://github.com/OSVAI/Af-DCD