FS-COCO：面向上下文常见物体自由手绘草图的理解
计算机视觉与模式识别
2022-07-22 v3
摘要
我们将草图研究推进到场景层面，提出了首个自由手绘场景草图数据集 FS-COCO。考虑到实际应用，我们收集的草图能够很好地传达场景内容，且任何绘画技能的人都能在几分钟内绘出。我们的数据集包含由100名非专业人士绘制的10,000幅带逐点时空信息的自由手绘场景矢量草图，提供物体级和场景级的抽象。每幅草图都配有文本描述。利用我们的数据集，我们首次研究了基于自由手绘场景草图和草图描述的细粒度图像检索问题。我们得出以下见解：（i）利用笔画时间顺序编码于草图中的场景显著性；（ii）从场景草图和图像描述进行图像检索的性能比较；（iii）草图与图像描述中信息的互补性，以及融合两种模态的潜在收益。此外，我们扩展了流行的基于LSTM的矢量草图编码器，以处理比以往工作所支持更复杂度的草图。具体而言，我们提出了一种分层草图解码器，并将其用于草图专用的“预文本”任务。我们的数据集首次实现了自由手绘场景草图理解及其实际应用的研究。
引用
@article{arxiv.2203.02113,
title = {FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context},
author = {Pinaki Nath Chowdhury and Aneeshan Sain and Ayan Kumar Bhunia and Tao Xiang and Yulia Gryaditskaya and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2203.02113},
year = {2022}
}
备注
Accepted in ECCV 2022. Project Page: https://fscoco.github.io