中文

WiCo:自底向上与自顶向下指代图像分割的双赢协作

计算机视觉与模式识别 2023-06-21 v1 多媒体

摘要

自顶向下与自底向上方法是指代分割的两大主流,但两种方法均有其固有弱点。自顶向下方法主要因缺乏细粒度跨模态对齐而受极性负样本(PN)错误干扰。自底向上方法主要因缺乏先验目标信息而受劣质正样本(IP)错误扰动。然而,我们发现两类方法对抑制各自弱点高度互补,但直接平均组合会导致有害干扰。在此背景下,我们构建双赢协作(WiCo)以在交互与整合两方面利用两类方法的互补性来实现双赢改进。在交互方面,互补特征交互(CFI)为自顶向下分支提供细粒度信息并为自底向上分支引入先验目标信息以进行互补特征增强。在整合方面,高斯打分整合(GSI)对两分支的高斯性能分布建模,并通过从分布中采样置信分数加权整合结果。借助我们的WiCo,几种突出的自顶向下与自底向上组合以合理的额外代价在三个常用数据集上取得显著提升,印证了方法的有效性与通用性。

关键词

引用

@article{arxiv.2306.10750,
  title  = {WiCo: Win-win Cooperation of Bottom-up and Top-down Referring Image Segmentation},
  author = {Zesen Cheng and Peng Jin and Hao Li and Kehan Li and Siheng Li and Xiangyang Ji and Chang Liu and Jie Chen},
  journal= {arXiv preprint arXiv:2306.10750},
  year   = {2023}
}

备注

Accepted to IJCAI2023