在无先验知识下分割已知对象与未见未知对象

全景分割方法对输入中每个像素赋予一个已知类别。即便对最先进的方案，这也不可避免地强制做出决策，从而系统性地导致对训练类别之外物体的错误预测。然而，在 safety-critical 场景中，针对分布外样本与极端情形的鲁棒性对避免危险后果至关重要。由于真实世界数据集无法包含足够数据点以充分采样潜在分布的长尾，模型也必须能应对未见与未知场景。先前方法通过重新识别已见过的未标注物体来解决此问题。本工作中，我们提出必要的一步，以扩展分割至一种新设定，称之为整体分割（holistic segmentation）。整体分割旨在对已知类执行全景分割的同时，在无任何关于未知类别的先验知识下识别并将未见、未知类别的物体分离为实例。我们以 U3HS 应对这一新问题，其将未知物作为高度不确定区域找出，并将其对应的实例感知嵌入聚类为独立物体。由此，在全景分割含未知物体的研究中，我们的 U3HS 首次在无未知类别训练下完成，减少了假设并使设定如真实场景般无约束。在 MS COCO、Cityscapes 与 Lost&Found 公开数据上的大量实验证明了 U3HS 在这一称为整体分割的崭新、具挑战且无假设设定下的有效性。项目页：https://holisticseg.github.io。