重新利用 Stable Diffusion 注意力机制实现免训练无监督交互式分割

基于交互式点提示的图像分割近期进展显著降低了获取高质量语义标签的人工成本。最先进的无监督方法使用自监督预训练模型获取伪标签，并用于训练基于提示的分割模型。本文提出一种仅基于 Stable Diffusion 自注意力的新颖无监督免训练方法。我们将自注意力张量解释为马尔可夫转移算子，从而能够迭代构建马尔可夫链。沿马尔可夫链达到相对概率阈值所需的迭代次数逐像素计数生成马尔可夫迭代图，我们简称为马尔可夫图。与原始注意力图相比，我们展示所提马尔可夫图噪声更少、语义边界更锐利、语义相似区域内数值更均匀。我们将马尔可夫图集成到一个简单而有效的截断最近邻框架中，以获得基于交互式点提示的分割。尽管免训练，实验表明我们的方法在点击次数（NoC）方面取得优异结果，在大多数数据集上甚至优于最先进的基于训练的无监督方法。代码可在 https://github.com/mkarmann/m2n2 获取。