有效利用属性进行视觉相似性度量
计算机视觉与模式识别
2021-08-23 v2
摘要
衡量两幅图像之间的相似性往往需要沿不同维度（如颜色、纹理或形状）进行复杂推理。标注属性可提供关于相似性度量中重要因素的洞见，但先前工作倾向于将这些标注视为完备的，从而采用在单幅图像上预测属性并进而用于度量相似性的简单做法。然而，数据集实际标注所有可能重要的属性是不现实的。因此，仅基于这些不完整标注表示图像可能会遗漏关键信息。为解决此问题，我们提出成对属性感知相似性网络（PAN），将相似性学习分解为从两幅图像的联合表示中捕捉相似性条件和相关性分数。这使我们的模型能识别出两幅图像包含同一属性，但可判定其不相关（例如由于两者间的细粒度差异）并在度量图像间相似性时忽略该属性。值得注意的是，尽管先前使用属性标注的方法常无法超越已有最优方法，PAN 在 Polyvore Outfits 的服装搭配兼容性预测上取得了 4–9% 的提升，在利用 Caltech-UCSD Birds (CUB) 的少样本图像分类上获得 5% 的增益，并在 In-Shop Clothes Retrieval 上使 Recall@1 提升超过 1%。实现代码见 https://github.com/samarth4149/PAN
引用
@article{arxiv.2105.01695,
title = {Effectively Leveraging Attributes for Visual Similarity},
author = {Samarth Mishra and Zhongping Zhang and Yuan Shen and Ranjitha Kumar and Venkatesh Saligrama and Bryan Plummer},
journal= {arXiv preprint arXiv:2105.01695},
year = {2021}
}
备注
Accepted to ICCV 2021