ScribbleSeg:基于涂鸦的交互式图像分割
计算机视觉与模式识别
2023-03-21 v1
摘要
交互式分割使用户能够通过提供简单标注(如框、点击或涂鸦)来指示目标并提取掩码。在这些交互形式中,涂鸦最为灵活,因其可具任意形状与尺寸。这使得涂鸦能提供更多关于目标物体的指示。然而,先前工作主要关注基于点击的设置,基于涂鸦的设置很少被探索。在本工作中,我们试图为基于涂鸦的交互式分割制定标准协议。基本上,我们设计多样化策略以模拟涂鸦用于训练,提出一种确定性涂鸦生成器用于评估,并构建了一个具有挑战性的基准。此外,我们构建了一个强框架ScribbleSeg,由原型适配模块(PAM)与纠正细化模块(CRM)组成,用于该任务。大量实验表明ScribbleSeg显著优于先前基于点击的方法。我们希望这能作为交互式分割的一个更强大且通用的解决方案。我们的代码将公开。
引用
@article{arxiv.2303.11320,
title = {ScribbleSeg: Scribble-based Interactive Image Segmentation},
author = {Xi Chen and Yau Shing Jonathan Cheung and Ser-Nam Lim and Hengshuang Zhao},
journal= {arXiv preprint arXiv:2303.11320},
year = {2023}
}