利用异构二联体共现学习视觉服装风格

随着智能移动设备的迅速普及，用户现在每天拍摄数百万张照片。其中包括大量的服装和配饰图像。我们想回答诸如“这双鞋搭配什么服装好看？”这样的问题。要回答这类问题，必须超越学习视觉相似性，学习跨类别的兼容性视觉概念。本文中，我们提出一种新颖的学习框架来帮助回答这类问题。该框架的主要思想是学习从物品图像到表达兼容性的潜空间的特征变换。对于特征变换，我们使用连体卷积神经网络(Siamese CNN)架构，其中训练样本是兼容或不兼容的物品对。我们基于大规模用户行为数据中的共现来建模兼容性；特别是来自Amazon.com的共同购买数据。为了学习跨类别搭配，我们引入了一种策略性的训练数据采样方法，其中物品对是异构二联体，即一对中的两个元素属于不同的高层类别。虽然该方法适用于多种场景，但我们聚焦于学习兼容服装风格这一代表性问题。我们的结果表明，所提出的框架能够学习关于视觉风格的语义信息，并能够生成由不同类别物品组成、彼此搭配协调的服装组合。