为语义分割提炼像素级特征相似性
计算机视觉与模式识别
2019-11-01 v1
摘要
在神经网络压缩技术中，知识蒸馏是一种有效的方法，其迫使更简单的学生网络去模仿更大的教师网络的输出。然而，此类模型蒸馏方法大多聚焦于图像级分类任务。将这些方法直接用于语义分割任务仅带来边际改进。本文中，我们提出一种简单而有效的知识表示，称为像素级特征相似性（PFS），以解决语义分割中具有挑战性的蒸馏问题。所开发的 PFS 为高层卷积特征中的每个像素位置编码空间结构信息，这有助于以更简单的方式引导蒸馏过程。此外，提出一种新颖的加权像素级软预测模仿方法，使学生网络能够根据其像素级知识差距选择性地模仿教师网络的输出。在具有挑战性的 Pascal VOC 2012、ADE20K 和 Pascal Context 数据集上进行了大量实验。与若干强基线相比，我们的方法带来了显著的性能提升，并取得了新的 SOTA 结果。
引用
@article{arxiv.1910.14226,
title = {Distilling Pixel-Wise Feature Similarities for Semantic Segmentation},
author = {Yuhu Shan},
journal= {arXiv preprint arXiv:1910.14226},
year = {2019}
}