中文

CASNet:面向图像实例分割与全景分割的共性属性支撑网络

计算机视觉与模式识别 2020-08-04 v1

摘要

近年来,实例分割与全景分割受到越来越多的关注。与基于边界框的目标检测和语义分割相比,实例分割能够在像素级别提供更具分析性的结果。鉴于属于同一实例的像素具有当前实例的一个或多个共性属性这一洞察,我们提出了一种名为共性属性支撑网络(Common Attribute Support Network, CASNet)的单阶段实例分割网络,其通过预测并聚类共性属性来实现实例分割。CASNet以全卷积方式设计,能够实现端到端的训练与推理。并且,CASNet能够预测无重叠与无空洞的实例,而该问题存在于当前大多数实例分割算法中。此外,通过较小的修改与极少的计算开销,它可轻松扩展至全景分割。CASNet通过针对共性属性的操作,从寻找像素类别ID到获取类别与实例ID,在语义分割与实例分割之间架起了一座桥梁。通过实例与全景分割实验,CASNet在Cityscapes验证集上通过联合训练取得mAP 32.8%与PQ 59.0%,通过分离训练模式取得mAP 36.3%与PQ 66.1%。对于全景分割,CASNet在Cityscapes验证集上取得了最先进的性能。

关键词

引用

@article{arxiv.2008.00810,
  title  = {CASNet: Common Attribute Support Network for image instance and panoptic segmentation},
  author = {Xiaolong Liu and Yuqing Hou and Anbang Yao and Yurong Chen and Keqiang Li},
  journal= {arXiv preprint arXiv:2008.00810},
  year   = {2020}
}