为草图图块配备上下文感知位置编码以用于图形草图表示
计算机视觉与模式识别
2025-05-16 v2 人工智能
摘要
在利用草图绘制顺序来增强图形草图表示时，近期研究根据基于时间的最邻近策略，将草图图块按绘制顺序连接为图边。然而，这样构建的图边可能不可靠，因为由于草图绘制的变体，图块之间的上下文关系可能与绘制顺序中的序列位置不一致。本文提出了一种变体绘制保护方法，通过为草图图块配备上下文感知位置编码（PE）来更好地利用绘制顺序进行草图学习。我们引入正弦绝对PE来嵌入绘制顺序中的序列位置，并引入可学习的相对PE来编码图块之间未见的上下文关系。这两种PE都不参与图边的构建，而是注入图节点中，与从图块捕获的视觉模式协同工作。在通过语义邻近度连接节点后，在通过图卷积网络进行消息聚合期间，每个节点从其邻居接收来自图块的语义特征和来自PE的上下文信息，这为局部图块模式配备了全局上下文信息，从而进一步获得绘制顺序增强的草图表示。实验结果表明，我们的方法显著改善了草图修复和可控草图合成。源代码可在 https://github.com/SCZang/DC-gra2seq 找到。
引用
@article{arxiv.2403.17525,
title = {Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation},
author = {Sicong Zang and Zhijun Fang},
journal= {arXiv preprint arXiv:2403.17525},
year = {2025}
}