面向草图图像检索的半异构三路联合嵌入网络

基于草图的图像检索（SBIR）由于草图与自然图像之间较大的跨域差异而是一项具有挑战性的任务。如何将抽象草图与自然图像对齐到一个共同的高层语义空间仍是SBIR中的关键问题。本文提出一种新颖的半异构三路联合嵌入网络（Semi3-Net），其集成三个分支（草图分支、自然图像分支和边缘图分支）来为SBIR任务学习更具判别力的跨域特征表示。关键洞见在于我们如何培育草图、自然图像与边缘图之间的相互及细微关系。设计了一种半异构特征映射以从各域提取底层特征，其中草图与边缘图分支共享参数，而自然图像分支与其他分支异构。此外，引入联合语义嵌入将不同域的特征嵌入到共同的高层语义空间，此时三个分支均共享参数。为进一步捕获自然图像与对应边缘图共有的信息性特征，引入协同注意力模型以在不同域间进行共同的通道级特征重标定。设计了一种混合损失机制来对齐三个分支，其中提出对齐损失与草图-边缘图对比损失以鼓励网络学习不变的跨域表示。在两个广泛使用的类别级数据集（Sketchy与TU-Berlin Extension）上的实验结果表明，所提方法优于当前最优方法。