迈向无边界框的全景分割

在本工作中，我们提出了一种用于全景分割的新型无边界框网络（BBFNet）。全景分割是免提案方法的理想问题，因为它已经需要逐像素的语义类别标签。我们利用这一观察，从现成的语义分割网络中提取类别边界，并对其细化以预测实例标签。为此，BBFNet 预测粗略的分水岭层级，并利用它们检测边界清晰的大型实例候选。对于边界可靠性较低的小型实例，BBFNet 还通过霍夫投票后进行均值漂移来预测实例中心，从而可靠地检测小物体。一种新颖的三元组损失网络有助于合并碎片化的实例，同时细化边界像素。我们的方法与以往全景分割工作不同，后者依赖于将语义分割网络与基于边界框提案、计算代价高昂的实例分割网络（如 Mask R-CNN）相结合，以使用混合专家（MoE）方法引导实例标签的预测。我们在 Cityscapes 和 Microsoft COCO 数据集上对所提免提案方法进行了基准测试，显示出与其他基于 MoE 的方法具有竞争力的性能，同时在 COCO 数据集上优于现有的非提案方法。我们展示了使用不同语义分割骨干网络时方法的灵活性。