基于多层比较网络的服装搭配兼容性预测与诊断
计算机视觉与模式识别
2019-08-23 v2 机器学习
多媒体
摘要
现有关于时尚服装搭配兼容性的工作侧重于利用来自不同模态的信息预测一组时尚单品的整体兼容性。然而，很少有工作探索如何解释该预测，这限制了模型的说服力和有效性。在这项工作中，我们提出了一种不仅预测而且诊断服装搭配兼容性的方法。我们为此目标引入了一个端到端框架，其特点在于：（1）整体兼容性是从单品之间所有类型指定的成对相似性中学习得到的，并且利用反向传播梯度来诊断不兼容因素。（2）我们利用 CNN 的层次结构并在不同层比较特征，以考虑从低层（如颜色、纹理）到高层（如风格）不同方面的兼容性。为支持所提出的方法，我们基于 Polyvore 数据集构建了一个名为 Polyvore-T 的新的类型指定服装数据集。我们在两项任务中将我们的方法与先前的 SOTA 进行比较：服装搭配兼容性预测和填空。实验表明，我们的方法在预测性能和诊断能力方面均具有优势。
引用
@article{arxiv.1907.11496,
title = {Outfit Compatibility Prediction and Diagnosis with Multi-Layered Comparison Network},
author = {Xin Wang and Bo Wu and Yun Ye and Yueqi Zhong},
journal= {arXiv preprint arXiv:1907.11496},
year = {2019}
}
备注
9 pages, 6 figures, Proceedings of the 27th ACM International Conference on Multimedia