PiClick：在基于点击的交互式分割中从多个候选中选取所需掩码
计算机视觉与模式识别
2024-06-18 v5
摘要
基于点击的交互式分割旨在通过人类点击生成目标掩码，从而便于高效的像素级标注与图像编辑。在此类任务中，目标歧义仍是阻碍分割准确性与效率的问题。即在上下文丰富的场景中，一次点击可能对应多个潜在目标，而以往大多数交互式分割器仅生成单一掩码，无法处理目标歧义。本文提出一种名为 PiClick 的新型交互式分割网络，以生成所有潜在合理掩码并向用户推荐最合理的一个。具体而言，PiClick 利用基于 Transformer 的架构通过相互交互的掩码查询生成所有潜在目标掩码。此外，PiClick 中设计了目标推理模块（TRM），以从所有候选中自动推荐用户所需掩码，从而缓解目标歧义并减少额外人力。在 9 个交互式分割数据集上的大量实验表明，考虑到分割结果，PiClick 优于以往最先进方法。此外，我们展示了 PiClick 有效减少了标注与选取所需掩码的人力。为便于使用并启发未来研究，我们在 https://github.com/cilinyan/PiClick 发布了 PiClick 的源代码及一个即插即用的标注工具。
引用
@article{arxiv.2304.11609,
title = {PiClick: Picking the desired mask from multiple candidates in click-based interactive segmentation},
author = {Cilin Yan and Haochen Wang and Jie Liu and Xiaolong Jiang and Yao Hu and Xu Tang and Guoliang Kang and Efstratios Gavves},
journal= {arXiv preprint arXiv:2304.11609},
year = {2024}
}