通过多目标遮挡推理实现鲁棒实例分割
计算机视觉与模式识别
2021-04-02 v3
摘要
使用深度神经网络分析复杂场景是一项具有挑战性的任务，尤其是当图像中包含相互部分遮挡的多个目标时。现有的图像分析方法大多独立处理目标，未考虑邻近目标的相对遮挡关系。本文提出一种用于多目标实例分割的深度网络，该网络对遮挡具有鲁棒性，且仅需边界框监督即可训练。我们的工作基于组合网络（Compositional Networks），其学习神经特征激活的生成模型以定位遮挡物并基于未遮挡部分对目标进行分类。我们扩展其生成模型以包含多个目标，并引入一种在困难遮挡场景下进行高效推理的框架。具体而言，我们获得目标类别及其实例与遮挡物分割的前馈预测。我们引入遮挡推理模块（Occlusion Reasoning Module, ORM），用于定位错误分割并估计遮挡顺序以进行修正。改进后的分割掩码进而以自顶向下的方式整合进网络，以改善图像分类。我们在 KITTI INStance 数据集（KINS）和一个合成遮挡数据集上的实验证明了我们的模型在遮挡下多目标实例分割的有效性与鲁棒性。代码公开于 https://github.com/XD7479/Multi-Object-Occlusion。
引用
@article{arxiv.2012.02107,
title = {Robust Instance Segmentation through Reasoning about Multi-Object Occlusion},
author = {Xiaoding Yuan and Adam Kortylewski and Yihong Sun and Alan Yuille},
journal= {arXiv preprint arXiv:2012.02107},
year = {2021}
}
备注
Accepted by CVPR 2021