利用伪深度增强框监督实例分割
计算机视觉与模式识别
2024-03-05 v1
摘要
近年来，框监督下的弱监督实例分割领域备受关注，并展现出显著进展。然而，框监督的局限性在于其无法提供有效信息以区分指定目标框内的前景与背景。本研究通过将伪深度图引入实例分割网络的训练过程来解决这一挑战，从而通过捕捉实例间的深度差异来提升其性能。这些伪深度图是使用现成的深度预测器生成的，且在推理阶段并非必需。为了使网络在预测掩码时能够辨别深度特征，我们在掩码预测头中集成了一个深度预测层。这一创新方法使网络能够同时预测掩码和深度，增强了其在实例分割过程中捕捉细微深度相关信息的能力。我们进一步将训练过程中生成的掩码用作监督，以区分前景与背景。在通过匈牙利算法为每个框选择最佳掩码时，我们将深度一致性作为一项计算代价项。所提出的方法在 Cityscapes 和 COCO 数据集上取得了显著提升。
引用
@article{arxiv.2403.01214,
title = {Boosting Box-supervised Instance Segmentation with Pseudo Depth},
author = {Xinyi Yu and Ling Yan and Pengtao Jiang and Hao Chen and Bo Li and Lin Yuanbo Wu and Linlin Ou},
journal= {arXiv preprint arXiv:2403.01214},
year = {2024}
}