面向轻量化半监督语义分割的多粒度蒸馏方案
计算机视觉与模式识别
2022-08-23 v1
摘要
尽管半监督语义分割领域取得了不同程度的进展，但其近期成功大多涉及笨重的模型，而轻量化方案仍未被探索。我们发现现有的知识蒸馏技术更关注来自标注数据的像素级概念，未能考虑无标注数据中更具信息量的线索。因此，我们首次尝试通过一种新颖的多粒度蒸馏（MGD）方案提供轻量化 SSSS 模型，其中多粒度从三个方面捕获：i) 互补的教师结构；ii) 有标注-无标注数据协同蒸馏；iii) 分层多级损失设置。具体而言，MGD 被构建为一种有标注-无标注数据协同蒸馏方案，有助于充分利用半监督设定中至关重要的多样数据特性。我们建立了图像级语义敏感损失、区域级内容感知损失和像素级一致性损失，以通过结构互补的教师来丰富分层蒸馏抽象。在 PASCAL VOC2012 和 Cityscapes 上的实验结果表明，在不同的划分协议下 MGD 都能大幅优于竞争方法。例如，在 Cityscapes 的 1/16 划分协议下，ResNet-18 和 MobileNet-v2 骨干网络的性能分别提升了 11.5% 和 4.6%。尽管模型骨干的 FLOPs 被压缩了 3.4-5.3 倍（ResNet-18）和 38.7-59.6 倍（MobileNetv2），该模型仍取得了令人满意的分割结果。
引用
@article{arxiv.2208.10169,
title = {Multi-Granularity Distillation Scheme Towards Lightweight Semi-Supervised Semantic Segmentation},
author = {Jie Qin and Jie Wu and Ming Li and Xuefeng Xiao and Min Zheng and Xingang Wang},
journal= {arXiv preprint arXiv:2208.10169},
year = {2022}
}
备注
Accepted by ECCV2022