CoHD: 面向广义指代表达式分割的计数感知层次化解码框架
计算机视觉与模式识别
2024-11-26 v2 人工智能
摘要
新提出的广义指代表达式分割(GRES)通过引入复杂的多目标/非目标场景，扩展了经典RES的公式。近期方法通过直接扩展广泛采用的RES框架并增加目标存在性识别来处理GRES。然而，这些方法倾向于将多粒度目标信息编码到单一表示中，这使得精确表示不同粒度的综合目标变得困难。此外，在所有指代场景中简单的二元目标存在性识别未能指定其内在差异，导致目标理解中的歧义。为解决上述问题，我们为GRES提出了一个计数感知层次化解码框架(CoHD)。通过利用视觉-语言层次结构将复杂的指代语义解耦到不同粒度，并通过内部选择和跨层选择进行动态聚合，CoHD利用层次化性质的互惠优势提升了多粒度理解。此外，我们通过将多/单/非目标场景具体化为计数级和类别级监督来融入计数能力，促进全面的目标感知。在gRefCOCO、Ref-ZOM、R-RefCOCO和RefCOCO基准上的实验结果证明了CoHD的有效性和合理性，其性能显著优于最先进的GRES方法。代码可在\href{https://github.com/RobertLuo1/CoHD}{此处}获取。
引用
@article{arxiv.2405.15658,
title = {CoHD: A Counting-Aware Hierarchical Decoding Framework for Generalized Referring Expression Segmentation},
author = {Zhuoyan Luo and Yinghao Wu and Tianheng Cheng and Yong Liu and Yicheng Xiao and Hongfa Wang and Xiao-Ping Zhang and Yujiu Yang},
journal= {arXiv preprint arXiv:2405.15658},
year = {2024}
}