VICTOR：基于Transformer与时尚专用对比预训练的视觉不兼容性检测
计算机视觉与模式识别
2022-09-09 v2 多媒体
摘要
要使时尚穿搭在美学上令人愉悦，构成穿搭的服装需在风格、类别和颜色等视觉方面相互兼容。先前工作将视觉兼容性定义为二元分类任务，即服装中的单品被视为完全兼容或完全不兼容。然而，这不适用于穿搭生成应用，其中用户自行创建穿搭并需知晓哪些具体单品可能与穿搭其余部分不兼容。为此，我们提出视觉不兼容Transformer（VICTOR），其针对两项任务优化：1）作为回归的整体兼容性；2）不匹配单品的检测，并利用时尚专用对比语言-图像预训练对计算机视觉神经网络在时尚图像上微调。我们基于Polyvore穿搭基准生成部分不匹配穿搭，构建了称为Polyvore-MISFITs的新数据集，用于训练VICTOR。一系列消融与对比分析表明，所提架构可在Polyvore数据集上媲美甚至超越当前最先进水平，同时将逐实例浮点运算量减少88%，在高效能与高效率间取得平衡。我们在 https://github.com/stevejpapad/Visual-InCompatibility-Transformer 发布代码。
引用
@article{arxiv.2207.13458,
title = {VICTOR: Visual Incompatibility Detection with Transformers and Fashion-specific contrastive pre-training},
author = {Stefanos-Iordanis Papadopoulos and Christos Koutlis and Symeon Papadopoulos and Ioannis Kompatsiaris},
journal= {arXiv preprint arXiv:2207.13458},
year = {2022}
}
备注
14 pages, 6 figures