基于扩散形状先验估计的非模态实例分割

非模态实例分割 (AIS) 带来了一个有趣的挑战，包括对图像中物体的可见部分和被遮挡部分进行分割预测。以往方法通常依赖于从训练数据中收集的形状先验信息来增强非模态分割。然而，这些方法容易过拟合且忽略了物体类别细节。近期进展凸显了在海量数据集上预训练的条件扩散模型从潜空间生成图像的潜力。受此启发，我们提出了带有扩散形状先验估计 模块的 AISDiff。AISDiff 首先预测可见分割掩码和物体类别，同时通过预测遮挡掩码进行遮挡感知处理。随后，将这些元素输入到我们的 DiffSP 模块中以推断物体的形状先验。DiffSP 利用在海量数据集上预训练的条件扩散模型提取丰富的视觉特征，用于形状先验估计。此外，我们引入了形状先验非模态预测器，它利用来自形状先验的基于注意力的特征图来优化非模态分割。在各个 AIS 基准上的实验证明了我们 AISDiff 的有效性。