RClicks：用于基准测试的真实点击模拟

Segment Anything (SAM) 的兴起催生了交互式分割领域的研究热情，尤其在图像编辑任务和加快数据标注方面。不同于常规语义分割，交互式分割方法允许用户通过提示（如点击）直接影响其输出。然而，现实场景下的点击模式基本未被探索。大多数方法依赖用户点击在最大错误区域中心的假设，但近期研究表明这并非总是如此。因此，尽管基准测试中表现良好的方法，在实际部署时可能性能不佳。为准确模拟真实用户点击，我们进行了大规模众包研究，收集了47.5万真实用户点击。基于视觉注意力任务的思想，我们开发了一种点击可达性模型，实现接近实际用户输入的点击采样。借助该模型和数据集，我们提出RClicks基准，进行全面的现实点击下交互式分割方法比较。具体评估不仅关注方法的平均质量，还关注其对点击模式的鲁棒性。根据我们的基准，现实使用场景下的交互式分割模型可能比基准测试中报告的更差，大多数方法都不够鲁棒。我们认为RClicks是实现在实际场景中提供最佳用户体验的交互式分割方法的重要一步。