SOGNet：用于全景分割的场景重叠图网络
计算机视觉与模式识别
2019-11-19 v1
摘要
全景分割任务需要来自语义与实例分割输出的统一结果，而这些输出可能包含重叠。然而，当前研究普遍忽略对重叠的建模。本研究旨在对实例间的重叠关系建模并为其求解以实现全景分割。受场景图表示启发，我们将重叠问题表述为一简化情形，称为场景重叠图。我们利用每个对象的类别、几何与外观特征进行关系嵌入，并输出编码重叠关系的关系矩阵。为克服监督缺失，我们引入一可微模块以求解任意实例对间的重叠。移除重叠后的掩码 logits 被送入逐像素实例 \verb|id| 分类，其利用全景监督辅助重叠关系建模。此外，我们生成重叠关系的近似真值作为弱监督，以量化本方法预测的重叠关系准确度。在 COCO 与 Cityscapes 上的实验表明，我们的方法能准确预测重叠关系，并在全景分割上超越最先进性能。我们的方法亦在 COCO 2019 挑战赛中荣获创新奖。
引用
@article{arxiv.1911.07527,
title = {SOGNet: Scene Overlap Graph Network for Panoptic Segmentation},
author = {Yibo Yang and Hongyang Li and Xia Li and Qijie Zhao and Jianlong Wu and Zhouchen Lin},
journal= {arXiv preprint arXiv:1911.07527},
year = {2019}
}
备注
To appear in AAAI 2020. Our method also won the Innovation Award in COCO 2019 challenge