基于跨任务一致性正则化的单阶段开放世界实例分割
计算机视觉与模式识别
2022-10-19 v2
摘要
开放世界实例分割（OWIS）是一个新兴的研究课题，旨在从图像中分割与类别无关的物体实例。主流方法采用两阶段分割框架，先定位候选物体边界框，再进行实例分割。在本工作中，我们转而提出一种用于 OWIS 的单阶段框架。我们认为，单阶段框架中的端到端训练过程可以更方便地直接正则化与类别无关的物体像素的定位。基于单阶段实例分割框架，我们提出一种正则化模型来预测前景像素，并利用其与实例分割的关系构建跨任务一致性损失。我们表明，这种一致性损失可以缓解实例标注不完整的问题——这是现有 OWIS 数据集中的一个常见问题。我们还表明，所提出的损失为半监督 OWIS 提供了一种有效解决方案，可视为某些图像完全缺失物体标注的极端情况。我们的大量实验表明，所提方法在全监督和半监督设置下均取得了令人印象深刻的成果。与 SOTA 方法相比，所提方法在 UVO→UVO 设置下将 分数显著提升了 4.75%，在 COCO→UVO 设置下提升了 4.05%。在半监督学习情况下，我们的模型仅使用 30% 标注数据训练，甚至优于使用 50% 标注数据的全监督对应模型。代码将很快发布。
引用
@article{arxiv.2208.09023,
title = {Single-Stage Open-world Instance Segmentation with Cross-task Consistency Regularization},
author = {Xizhe Xue and Dongdong Yu and Lingqiao Liu and Yu Liu and Satoshi Tsutsui and Ying Li and Zehuan Yuan and Ping Song and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2208.09023},
year = {2022}
}