面向开放词汇语义分割的高效冗余降低
计算机视觉与模式识别
2025-12-23 v2
摘要
开放词汇语义分割（OVSS）是旨在将图像中每个像素分配给由任意文本描述定义的特定类的开放世界任务。虽然大规模视觉语言模型已显示出突出的开放词汇能力，但其图像级预训练限制了在像素级稠密预测任务（如OVSS）中的有效性。近期基于成本的方法通过构建像素-文本成本图并通过成本聚合机制对其进行细化来缩小这种粒度差距。尽管取得了有前景的性能，但这些方法面临高计算成本和长推理延迟。本文确定了基于成本的OVSS框架中两个主要冗余来源：成本图构建期间引入的冗余信息以及成本聚合中低效的序列建模。为解决这些问题，我们提出了ERR-Seg架构，包含冗余降低的层次成本图（RRHC）和冗余降低的成本聚合（RRCA）。具体而言，RRHC通过为每个图像定制紧凑的词汇表来减少冗余类别通道，并集成层次成本图以丰富语义表示。RRCA通过在聚合前进行空间级和类别级序列降低来减轻计算负担。总体而言，ERR-Seg为OVSS构建了轻量级结构， 在不损害准确性的前提下实现了显著的内存和计算节省。与ADE20K-847基准上的前沿方法相比，ERR-Seg提高了5.6%的性能，并实现了3.1倍的加速。
引用
@article{arxiv.2501.17642,
title = {Efficient Redundancy Reduction for Open-Vocabulary Semantic Segmentation},
author = {Lin Chen and Qi Yang and Kun Ding and Zhihao Li and Gang Shen and Fei Li and Qiyuan Cao and Shiming Xiang},
journal= {arXiv preprint arXiv:2501.17642},
year = {2025}
}