NERVE：基于邻域与熵引导的随机漫步用于训练-free开放词汇语义分割
计算机视觉与模式识别
2025-11-12 v1 人工智能
摘要
尽管近期在开放词汇语义分割（OVSS）方面取得了进展，但现有的训练-free方法仍面临多个局限：使用计算昂贵的亲和力细化策略、因权重相等或依赖固定大小的高斯核来强化局部空间平滑导致注意力图融合无效、强制规范邻域。我们提出一种强基准方法，用于训练-free OVSS，称为NERVE（Neighbourhood与Entropy引导的随机漫步用于开放词汇语义分割），其独特之处在于整合全局和细粒度局部信息，利用来自稳定扩散模型自注意力层的邻域结构。我们还引入一种随机随机漫步，用于细化亲和力，而不是依赖固定大小的高斯核进行局部上下文。这种空间扩散过程鼓励在已连接且语义相关区域之间的传播，使其能够有效描绘任意形状的对象。与大多数现有方法对不同Transformer头或层的注意力图相等处理不同，我们的方法使用基于熵的不确定性来选择最相关的图。值得注意的是，我们的方法不需要诸如条件随机场（CRF）或像素自适应掩码细化（PAMR）等常规后处理技术。实验在7个流行的语义分割基准上进行，实现了整体上零时段分割性能的state-of-the-art，提供了一种有效的开放词汇语义分割方法。
引用
@article{arxiv.2511.08248,
title = {NERVE: Neighbourhood & Entropy-guided Random-walk for training free open-Vocabulary sEgmentation},
author = {Kunal Mahatha and Jose Dolz and Christian Desrosiers},
journal= {arXiv preprint arXiv:2511.08248},
year = {2025}
}