SAPNet++：基于语义与空间感知演化的点提示实例分割

单点标注正日益流行于视觉任务中，以降低标注成本。然而，它在需要高精度的任务（如点提示实例分割 PIPS）方面提出了挑战，该任务旨在使用单点提示来训练分割网络，从而估计精确的掩码。由于点标注的限制，粒度歧义和边界不确定性导致区分不同层次细节（例如整体对象 vs. 部件）的困难，以及精确描绘对象边界的挑战。以往的工作通常沿用掩码生成伴随proposal选择的范式来实现 PIPS。然而，proposal选择仅依赖类别信息，无法解决不同粒度的歧义。此外，掩码生成器提供的仅有限的离散解决方案常常偏离实际掩码，尤其在边界处。为解决这些问题，我们提出了语义感知点提示实例分割网络 SAPNet。它集成了点距离引导和箱矢量策略，以处理点粒度歧义引起的全局和局部问题。此外，我们在proposal中加入完整性得分，以添加空间粒度感知，增强了基于proposal的多实例学习（M-SIL）。多层次亲和力细化传递像素和语义线索，在掩码细化过程中缩小边界不确定性。这些模块 culminate in SAPNet++，缓解了点提示的粒度歧义和边界不确定性，显著提高了分割性能。在四个具有挑战性的数据集上进行的大量实验验证了我们方法的有效性，凸显了推动 PIPS 前进的潜力。