面向手绘场景的时间-空间场景草图语义分割
计算机视觉与模式识别
2024-10-02 v1 机器学习
摘要
场景草图语义分割是诸多应用（包括草图到图像检索和场景理解）的关键任务。现有草图分割方法将草图视为位图图像，导致由于从矢量格式转为图像格式，草图笔画的时序顺序丢失。此外，这些方法难以分割训练数据中不存在的类别。本文提出了一种类无关 Visio-Temporal 网络（CAVT）用于场景草图语义分割。CAVT 采用类无关目标检测器检测场景中的 individual 对象，并通过其后处理模块将实例的笔画分组。这一方法是首个在场景草图中执行同时进行实例级和笔画级分割的 approach。此外，缺乏包含实例级和笔画级类别注释的自由手绘场景草图数据集。为填补这一空白，我们收集了最大的自由手绘实例级和笔画级场景草图数据集（FrISS），该数据集包含 1K 幅场景草图，覆盖 403 个对象类别，具有密集注释。在 FrISS 和其他数据集上的大量实验表明，我们的方法在 state-of-the-art 场景草图分割模型之上具有优异性能。代码和数据集将在接受后公开。
关键词
引用
@article{arxiv.2410.00266,
title = {Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation},
author = {Aleyna Kütük and Tevfik Metin Sezgin},
journal= {arXiv preprint arXiv:2410.00266},
year = {2024}
}