全景叙事定位
计算机视觉与模式识别
2021-09-13 v1
摘要
本文提出了全景叙事定位，这是一种空间精细且通用的自然语言视觉定位问题表述。我们为该新任务的研究建立了一个实验框架，包括新的真实标注和评估指标，并提出了一个强大的基线方法，作为未来工作的基石。我们通过包含全景类别来利用图像中内在的语义丰富性，并通过使用分割在细粒度层面处理视觉定位。在真实标注方面，我们提出了一种算法，将局部叙事标注自动转移到 MS COCO 数据集全景分割中的特定区域。为了保证标注质量，我们利用 WordNet 中包含的语义结构，仅纳入与有意义相关的全景分割区域相关联的名词短语。所提出的基线方法达到了 55.4 的绝对平均召回率。这一结果为推动全景叙事定位方法的发展奠定了合适的基础。
引用
@article{arxiv.2109.04988,
title = {Panoptic Narrative Grounding},
author = {C. González and N. Ayobi and I. Hernández and J. Hernández and J. Pont-Tuset and P. Arbeláez},
journal= {arXiv preprint arXiv:2109.04988},
year = {2021}
}
备注
10 pages, 6 figures, to appear at ICCV 2021 (Oral presentation)