面向复杂查询的指代图像分割：一种新颖基准
计算机视觉与模式识别
2023-10-02 v1
摘要
指代图像理解(RIS)在过去十年中得到广泛研究，催生了先进算法的发展。然而，缺乏研究考察现有算法应如何以复杂语言查询进行基准测试，这类查询包含关于周围物体与背景的更具信息量的描述（例如\textit{“黑色汽车。”}对比\textit{“黑色汽车停在路上且在大巴旁。”}）。鉴于大型预训练模型语义理解能力的显著提升，通过引入类似真实世界应用的复杂语言来进一步推进RIS研究至关重要。为弥补此差距，基于现有RefCOCO与Visual Genome数据集，我们提出一种带复杂查询的新RIS基准，即\textbf{RIS-CQ}。RIS-CQ数据集质量高且规模大，以丰富、具体且信息充分的查询挑战现有RIS，并实现了更真实的RIS研究场景。此外，我们提出一种针对性方法以更好地应对RIS-CQ，称为双模态图对齐模型(\textbf{\textsc{DuMoGa}})，其性能优于一系列RIS方法。
引用
@article{arxiv.2309.17205,
title = {Towards Complex-query Referring Image Segmentation: A Novel Benchmark},
author = {Wei Ji and Li Li and Hao Fei and Xiangyan Liu and Xun Yang and Juncheng Li and Roger Zimmermann},
journal= {arXiv preprint arXiv:2309.17205},
year = {2023}
}