从区域到图块：面向细粒度服饰检索的属性感知前景-背景对比学习

特定属性服饰检索（ASFR）是一项具有挑战性的信息检索任务，近年来受到越来越多的关注。不同于主要关注优化整体相似度的传统服饰检索，ASFR 任务专注于特定属性相似度，从而产生更细粒度且更具可解释性的检索结果。由于特定属性相似度通常对应于图像中特定的细微区域，我们提出了一种从区域到图块框架（RPF），该框架由区域感知分支和图块感知分支组成，以由粗到细的方式提取细粒度的属性相关视觉特征以进行精确检索。具体而言，首先利用区域感知分支来定位与给定属性语义相关的潜在区域。然后，考虑到定位到的区域较为粗糙且仍包含背景视觉内容，提出图块感知分支以从前述放大区域中捕捉图块级的属性相关细节。这种混合架构在区域定位与特征提取之间取得了适当的平衡。此外，不同于以往仅关注判别属性相关前景视觉特征的工作，我们认为属性无关的背景特征对于以对比方式区分细致的视觉上下文同样至关重要。因此，进一步提出了一种基于前景和背景表示的新型 E-InfoNCE 损失，以提升特定属性表示的判别力。在三个数据集上的大量实验证明了我们提出的框架的有效性，同时也表明 RPF 在域外服饰图像上具有良好的泛化能力。源代码可在 https://github.com/HuiGuanLab/RPF 获取。