基于原型的语义分割异常检测
计算机视觉与模式识别
2021-06-02 v1
摘要
传统的语义分割方法在测试时只能识别训练集中存在的类别。这是一个显著的局限,尤其是对于部署在真实环境中的智能自主系统所搭载的语义分割算法而言。无论系统在训练时见过多少类别,测试时出现意外的未知物体都是不可避免的。在真实世界中部署此类分割模型的自主智能体若未能识别这些异常,可能导致不正确甚至危险的行为。当前异常分割的最优方法使用生成模型,利用其无法重建训练期间未见过的模式这一特性。然而,训练这些模型代价高昂,且其生成的伪影可能产生虚假异常。本文另辟蹊径,提出通过原型学习来解决异常分割问题。我们的直觉是:异常像素即那些与模型已知的所有类别原型都不相似的像素。我们使用基于余弦相似度的分类器以轻量方式从训练数据中提取类别原型。在 StreetHazards 上的实验表明,尽管计算开销降低,我们的方法仍以显著优势超越以往工作,达到了新的最优水平。代码见 https://github.com/DarioFontanel/PAnS。
引用
@article{arxiv.2106.00472,
title = {Detecting Anomalies in Semantic Segmentation with Prototypes},
author = {Dario Fontanel and Fabio Cermelli and Massimiliano Mancini and Barbara Caputo},
journal= {arXiv preprint arXiv:2106.00472},
year = {2021}
}
备注
SAIAD CVPR21 Workshop