视觉感知相似性的高效发现与有效评估：一个基准及超越
计算机视觉与模式识别
2023-08-29 v1 机器学习
摘要
视觉相似性发现（VSD）是一项具有重要电商应用价值的任务。给定某一物体的图像，VSD 的目标是检索具有高度感知视觉相似性的不同物体的图像。尽管该问题已被广泛研究，但针对 VSD 所提出方法的评估通常基于识别-检索任务的替代指标，即评估模型检索同一物体不同图像的能力。我们认为基于识别任务评估 VSD 方法存在局限，而忠实的评估必须依赖专家标注。本文引入了首个大规模时尚视觉相似性基准数据集，包含超过 11 万对专家标注的图像对。除这一主要贡献外，我们分享了在构建该数据集过程中所面临挑战的见解。基于这些见解，我们提出了一种新颖且高效的标注流程，可应用于任意数据集。我们的分析考察了其局限性与归纳偏置，并基于这些发现提出了缓解上述局限的指标。尽管我们的主要关注点在于视觉相似性，所提出的方法论在跨多种领域发现和评估感知相似性方面具有更广泛的应用。
引用
@article{arxiv.2308.14753,
title = {Efficient Discovery and Effective Evaluation of Visual Perceptual Similarity: A Benchmark and Beyond},
author = {Oren Barkan and Tal Reiss and Jonathan Weill and Ori Katz and Roy Hirsch and Itzik Malkiel and Noam Koenigstein},
journal= {arXiv preprint arXiv:2308.14753},
year = {2023}
}
备注
ICCV 2023