用于指代图像分割的位置感知对比对齐方法
计算机视觉与模式识别
2022-12-29 v1
摘要
指代图像分割旨在分割由给定自然语言表达式描述的目标对象。通常，指代表达式包含目标与其周围对象之间的复杂关系。该任务的主要挑战是同时理解视觉与语言内容，并在图像所有实例中准确找到所指对象。目前，解决上述问题最有效的方式是在真实掩码监督下，通过计算视觉与语言特征模态之间的相关性来获得对齐的多模态特征。然而，由于无法感知直接指向目标的周围对象信息，现有范式难以充分理解视觉与语言内容。这阻碍了它们学习对齐的多模态特征，导致分割不准确。为解决此问题，我们提出位置感知对比对齐网络（PCAN），通过先验位置信息引导视觉与语言的交互来增强多模态特征的对齐。我们的 PCAN 包含两个模块：1）位置感知模块（PAM），提供与自然语言描述相关的所有对象的位置信息；2）对比语言理解模块（CLUM），通过对比所指对象与相关对象的特征来增强多模态对齐。在三个基准上的大量实验表明，我们的 PCAN 优于当前最先进的方法。我们的代码将公开可用。
引用
@article{arxiv.2212.13419,
title = {Position-Aware Contrastive Alignment for Referring Image Segmentation},
author = {Bo Chen and Zhiwei Hu and Zhilong Ji and Jinfeng Bai and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2212.13419},
year = {2022}
}
备注
12 pages, 6 figures