无丰富标注的细粒度服装分类与检索

正确分类和检索服装图像的能力对电子商务、在线广告和互联网搜索等一系列应用至关重要。在本工作中，我们提出了一种用于细粒度服装分类、店内及跨域检索的鲁棒框架，其消除了对边界框、人体关节或服装关键点等丰富标注的需求，也无需为此训练边界框/关键点检测器。细微的外观差异、人体姿态变化、不同拍摄角度、服装形变和自遮挡等因素增加了服装物品分类与检索的难度。跨域检索更为困难，因为在线购物图像通常在理想光照、姿态、正面角度和干净背景下拍摄，而与用户在复杂条件、糟糕光照和杂乱场景中拍摄的街拍照片相比存在巨大差异。我们的框架使用带张量草图算法的紧凑双线性CNN来生成以平移不变方式捕获局部成对特征交互的嵌入。对于服装分类，我们将特征嵌入通过softmax分类器；而店内和跨域检索流程使用基于三元组损失的优化方法，使得嵌入间的平方欧氏距离度量图像间的不相似度。与以往依赖边界框、服装关键点或人体关节检测器来辅助最终深度分类器的工作不同，所提框架可直接在提供的类别标签或生成的三元组上训练以进行三元组损失优化。最后，在DeepFashion细粒度分类以及店内和消费者到店检索数据集上的实验结果与领域内以往工作提供了对比分析。