如何处理基于草图的图像检索中的草图抽象？

在本文中，我们提出了一种新颖的感知抽象的基于草图的图像检索框架，能够处理不同层次的草图抽象。先前的工作主要专注于解决绘画风格和顺序等子因素，而我们尝试将抽象作为一个整体进行建模，并提出了特征级和检索粒度级的设计，使系统在其核心机制中具备解释抽象的必要手段。在学习感知抽象的特征方面，我们首次利用了预训练 StyleGAN 模型丰富的语义嵌入，结合一种新颖的抽象层级映射器，该映射器能够解码抽象层级并相应地动态选择特征矩阵中的适当维度，从而构建一个可以自由遍历以适应不同抽象层级的特征矩阵嵌入。对于粒度级的抽象理解，我们规定检索模型不应同等对待所有抽象层级，并引入了可微的代理 Acc.@q 损失函数，将这种理解注入系统中。与黄金标准的三元组损失不同，我们的 Acc.@q 损失独特地允许草图在评估严格程度方面缩小或扩大其关注范围——草图越抽象，评估越不严格（即$q$值越高）。大量实验表明，我们的方法在标准 SBIR 任务以及早期检索、法医草图 - 照片匹配和风格不变检索等挑战性场景中均优于现有的最先进方法。