基于双层网络架构的遮挡感知实例分割
计算机视觉与模式识别
2023-03-13 v2
摘要
分割高度重叠的图像对象具有挑战性，因为图像上真实对象轮廓与遮挡边界通常无法区分。与以往的实例分割方法不同，我们将图像形成建模为两个重叠图层的组合，并提出双层卷积网络（BCNet），其中顶层检测遮挡对象（occluders），底层推断被部分遮挡的实例（occludees）。利用双层结构对遮挡关系进行显式建模，自然地解耦了遮挡与被遮挡实例的边界，并在掩码回归过程中考虑二者之间的交互。我们使用两种流行的卷积网络设计，即全卷积网络（FCN）和图卷积网络（GCN），研究了双层结构的有效性。进一步，我们利用视觉Transformer（ViT）通过将以图像中实例表示为可学习的独立遮挡与被遮挡查询来表述双层解耦。使用单阶段/两阶段和基于查询的目标检测器配合多种骨干网络与网络层选择的实验在图像实例分割基准（COCO、KINS、COCOA）和视频实例分割基准（YTVIS、OVIS、BDD100K MOTS）上，尤其是重度遮挡情况下，显示出巨大且一致的改进，验证了双层解耦的泛化能力。代码与数据见 https://github.com/lkeab/BCNet。
引用
@article{arxiv.2208.04438,
title = {Occlusion-Aware Instance Segmentation via BiLayer Network Architectures},
author = {Lei Ke and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2208.04438},
year = {2023}
}
备注
Extended version of "Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers", CVPR 2021 (arXiv:2103.12340)