中文

通过学习同义邻近性连接草图块以实现图形草图表示

计算机视觉与模式识别 2022-12-01 v1 人工智能

摘要

图形草图表示能有效地表示草图。现有方法将草图中裁剪出的块作为图节点,并基于草图的绘制顺序或画布上的欧氏距离构建边。然而,草图的绘制顺序可能并不唯一,而草图中语义相关部分的块在画布上可能相距甚远。本文中,我们提出一种顺序不变、语义感知的图形草图表示方法。裁剪出的草图块根据其全局语义或局部几何形状(即同义邻近性),通过计算所捕获块嵌入之间的余弦相似度进行连接。如此构建的边是可学习的,以适应草图绘制的变化,从而实现同义块之间的消息传递。通过图卷积网络聚合来自同义块的消息起到去噪作用,有利于生成鲁棒的块嵌入和准确的草图表示。此外,我们在网络学习的同时对嵌入施加聚类约束。同义块被自组织为紧凑的簇,其嵌入被引导朝向所分配的簇中心移动。这提高了所计算同义邻近性的准确性。实验结果表明,我们的方法在可控草图合成与草图修复两项任务上均显著提升了性能。

关键词

引用

@article{arxiv.2211.16841,
  title  = {Linking Sketch Patches by Learning Synonymous Proximity for Graphic Sketch Representation},
  author = {Sicong Zang and Shikui Tu and Lei Xu},
  journal= {arXiv preprint arXiv:2211.16841},
  year   = {2022}
}

备注

This paper was accepted by AAAI 2023, and the source codes are available at https://github.com/CMACH508/SP-gra2seq