深度度量学习中的背景偏置研究

深度度量学习训练一个神经网络，将输入图像映射到一个低维嵌入空间，使得相似图像比不相似图像距离更近。当用于物品检索时，使用训练好的模型对查询图像进行嵌入，并从存储各自嵌入的数据库中返回最接近的物品作为查询的最相似项。尤其在产品检索中，用户通过拍摄产品照片进行搜索，图像背景通常不重要，因此不应影响嵌入过程。理想情况下，无论照片拍摄环境如何，检索过程总能为所拍物体返回合适物品。本文中，我们利用五种常见损失函数和三个常见数据集，分析了图像背景对深度度量学习模型的影响。我们发现深度度量学习网络容易出现所谓的背景偏置，在推理时更换图像背景会导致检索性能严重下降。我们还表明，在训练期间用随机背景图像替换图像背景可缓解该问题。由于我们采用自动背景移除方法进行背景替换，无需额外人工标注工作与模型改动，且推理时间保持不变。我们引入一种新的评估指标进行定性与定量分析，证实使用替换背景训练的模型更关注图像中主体对象，有利于物品检索系统。