用于实例分组的循环像素嵌入

我们引入了一个可微、端到端可训练的框架，用于解决像素级分组问题（如实例分割），该框架由两个新颖组件构成。首先，我们将像素回归到一个超球面嵌入空间中，使得同一组的像素具有高余弦相似度，而不同组的像素相似度低于指定间隔。我们分析了嵌入维度和间隔的选择，将其与在球面上均匀布点问题的理论结果相联系。其次，为了对实例进行分组，我们采用了均值漂移聚类的一种变体，实现为一个由核带宽参数化的循环神经网络。该循环分组模块是可微的，具有收敛动力学特性和概率可解释性。通过该模块反向传播组加权损失，使得学习能够专注于仅纠正那些在后续聚类中无法解决的嵌入错误。我们的框架虽然在概念上简单、理论上丰富，但在实践中也有效且计算高效。我们展示了在目标提议生成的最先进实例分割上的显著改进，并展示了分组损失对于边界检测和语义分割等分类任务的好处。