SketchYourSeg：基于自由手绘草图实现无掩码的主观图像分割
计算机视觉与模式识别
2025-03-19 v2
摘要
我们提出 SketchYourSeg，一种新型框架，将自由手绘草图作为主观图像分割查询模态，支持通过单个示例草图对整个图库进行分割。不同于在空间特定性方面难以处理或局限于单图像操作的交互式方法，草图自然地将语义意图与结构精确性结合起来。这种独特的双重编码使我们能够在文本描述在分割任务中难以处理或模糊的情境下实现精确的视觉消歧——例如区分相似的视觉实例、指定确切的部件边界或指示组合概念中的空间关系。我们的方案解决了三个根本性挑战：(i) 通过无掩码框架消除在训练期间对像素完美标注掩码的需求；(ii) 在草图基于图像检索 (SBIR) 模型与基础模型 (CLIP/DINOv2) 之间创建协同关系，其中前者提供训练信号而后者生成掩码；(iii) 通过专门设计的草图数据增强策略实现多粒度分割能力。我们的广泛评估表明，在多样化的基准测试上，该方法优于现有方法，确立了一种在精度与效率之间进行权衡的用户引导图像分割的新范式。
引用
@article{arxiv.2501.16022,
title = {SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches},
author = {Subhadeep Koley and Viswanatha Reddy Gajjala and Aneeshan Sain and Pinaki Nath Chowdhury and Tao Xiang and Ayan Kumar Bhunia and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2501.16022},
year = {2025}
}