让人类草图助力：通过免手绘草图提升挑战性图像分割任务性能
计算机视觉与模式识别
2025-02-03 v1
摘要
草图凭借其表达潜力，允许人类通过粗糙的轮廓来传达物体的本质。我们首次利用这种表达潜力，以提高挑战性任务（如伪装物体检测）中分割性能。我们的方法引入了一种创新的基于草图引导的交互式分割框架，允许用户使用免手绘草图（绘制物体的粗略轮廓）进行直观注释，而不是传统交互式分割模型（如SAM）使用的边界框或点。我们演示了草图输入对现有迭代分割方法的显著性能提升，优于文本或边界框注释。此外，我们对网络架构进行关键修改，并提出一种新颖的草图增强技术，以充分发挥草图输入的力量并进一步提升分割精度。值得注意的是，我们的模型输出可以直接用于训练其他神经网络，实现与像素级注释相当的结果——同时将注释时间缩短最长可达120倍，这在降低注释依赖、减少资源密集型、繁琐的像素级注释方面具有巨大潜力。我们还介绍了KOSCamo+，首个用于伪装物体检测的免手绘草图数据集。该数据集、代码以及标注工具将开源发布。
引用
@article{arxiv.2501.19329,
title = {Let Human Sketches Help: Empowering Challenging Image Segmentation Task with Freehand Sketches},
author = {Ying Zang and Runlong Cao and Jianqi Zhang and Yidong Han and Ziyue Cao and Wenjun Hu and Didi Zhu and Lanyun Zhu and Zejian Li and Deyi Ji and Tianrun Chen},
journal= {arXiv preprint arXiv:2501.19329},
year = {2025}
}