将自适应绑定原型引入广义指代语义分割
计算机视觉与模式识别
2025-01-07 v2
摘要
指代语义分割（RES）正日益受到关注，旨在基于自然语言表达式识别并分割对象。尽管RES取得了显著进展，但广义指代语义分割（GRES）的出现带来了新挑战，使得表达式能够描述多个对象或缺乏特定对象指代。现有RES方法通常依赖复杂的编码器-解码器和特征融合模块，在应对GRES的复杂指代和二进制标签时，难以生成与每个实例匹配的类原型。本文重新审视RES与GRES之间的差异，提出一种新型模型——自适应绑定原型（MABP），该模型在相应区域自适应地将查询向量与对象特征绑定。它使不同的查询向量能够匹配不同类别的实例或同一实例的不同部分，显著扩展了解码器的灵活性，在所有查询上分散全局压力，减轻对编码器的要求。实验结果表明，MABP在gRefCOCO数据集上的所有三个分割方案中均优于当前最先进的方法。同时，MABP在RefCOCO+和G-Ref数据集上也优于当前最先进的方法，并在RefCOCO上取得非常具竞争力的成绩。代码已公开：https://github.com/buptLwz/MABP
引用
@article{arxiv.2405.15169,
title = {Bring Adaptive Binding Prototypes to Generalized Referring Expression Segmentation},
author = {Weize Li and Zhicheng Zhao and Haochen Bai and Fei Su},
journal= {arXiv preprint arXiv:2405.15169},
year = {2025}
}
备注
Accepted by TMM