中文

SGDraw:使用面向对象表示的场景图绘制界面

计算机视觉与模式识别 2023-06-19 v2 人机交互

摘要

场景理解是计算机视觉中一项重要且具有挑战性的任务。为了提供图像在视觉上基础的图形结构,场景图因其强大的语义表示而受到越来越多的关注。然而,为图像检索、图像生成和多模态应用绘制合适的场景图是很困难的。传统的场景图标注界面在图像标注中不易使用,而使用深度神经网络的自动场景图生成方法容易生成冗余内容并忽略细节。在本研究中,我们提出了 SGDraw,这是一个使用面向对象场景图表示的场景图绘制界面,旨在帮助用户交互式地绘制和编辑场景图。对于所提出的面向对象表示,我们将对象、属性和对象间的关系视为一个结构单元。SGDraw 为场景理解应用提供了一个基于 Web 的场景图标注和生成工具。为了验证所提出界面的有效性,我们与传统工具进行了对比研究和用户体验研究。结果表明,SGDraw 能够帮助生成具有更丰富细节的场景图,并比传统的边界框标注更准确地描述图像。我们相信所提出的 SGDraw 可用于各种视觉任务,如图像检索和生成。

关键词

引用

@article{arxiv.2211.16697,
  title  = {SGDraw: Scene Graph Drawing Interface Using Object-Oriented Representation},
  author = {Tianyu Zhang and Xusheng Du and Chia-Ming Chang and Xi Yang and Haoran Xie},
  journal= {arXiv preprint arXiv:2211.16697},
  year   = {2023}
}

备注

16 pages, 9 figures, video is https://youtu.be/acy0SNLfahg, accepted in HCI International 2023