面向指代分割的实例特定特征传播
计算机视觉与模式识别
2022-04-27 v1
摘要
指代分割旨在为自然语言表达式所指的目标实例生成分割掩码。现有方法通常分为两类：直接在融合的视觉与语言特征上执行分割的单阶段方法；以及先利用实例分割模型生成实例提议、再通过其与语言特征匹配来选取某一实例的两阶段方法。本工作中，我们提出一种新颖框架，通过特征传播同时检测感兴趣目标并生成细粒度分割掩码。在我们的框架中，每个实例由实例特定特征（ISF）表示，所指目标通过我们提出的特征传播模块（FPM）在所有 ISF 间交换信息来识别。这种实例感知方法学习了所有对象间的关系，有助于比单阶段方法更好地定位感兴趣目标。与两阶段方法相比，我们的方法协作且交互式地利用视觉与语言信息以同步识别与分割。在实验中，我们的方法在全部三个 RefCOCO 系列数据集上优于以往 SOTA 方法。
引用
@article{arxiv.2204.12109,
title = {Instance-Specific Feature Propagation for Referring Segmentation},
author = {Chang Liu and Xudong Jiang and Henghui Ding},
journal= {arXiv preprint arXiv:2204.12109},
year = {2022}
}
备注
TMM