基于蒸馏比较网络的语义分割异常发现
计算机视觉与模式识别
2021-12-21 v1
摘要
本文旨在解决语义分割中的异常发现问题。我们的关键观察是，语义分类在现有方法中起关键作用，而错误分类的像素容易被当作异常。这种现象频繁出现且鲜有讨论，显著降低了异常发现的性能。为此，我们提出了一种新颖的蒸馏比较网络（DiCNet）。它包含一个教师分支（去除了语义分类头的语义分割网络）和一个通过分布蒸馏从教师分支蒸馏得到的学生分支。我们表明，蒸馏保证了两个分支的语义特征在已知类上保持一致，而在未知类上反映不一致。因此，我们利用两分支间的语义特征差异来发现异常。DiCNet在推理过程中舍弃了语义分类头，从而显著缓解了由错误语义分类引起的问题。在StreetHazards数据集和BDD-Anomaly数据集上的大量实验结果验证了DiCNet的优越性能。特别地，DiCNet在StreetHazards数据集上AUPR提升6.3%、FPR95提升5.2%，在BDD-Anomaly数据集上AUPR提升4.2%、FPR95提升6.8%。代码见https://github.com/zhouhuan-hust/DiCNet。
引用
@article{arxiv.2112.09908,
title = {Anomaly Discovery in Semantic Segmentation via Distillation Comparison Networks},
author = {Huan Zhou and Shi Gong and Yu Zhou and Zengqiang Zheng and Ronghua Liu and Xiang Bai},
journal= {arXiv preprint arXiv:2112.09908},
year = {2021}
}
备注
9 pages, 7 figures