通过挖掘用户点评网站上的众包照片推断餐厅风格

在线寻找餐厅时，用户上传的照片常给人关于餐厅直观而切实的印象。由于其信息丰富性，此类用户贡献的照片被餐厅点评网站用来为其用户提供直观有效的搜索体验。本文提出一种从用户点评网站上的用户上传照片推断餐厅类型或风格（氛围、菜品风格、适用不同场合）的新方法。为此，我们首先收集了一个将用户贡献照片与来自TripAdvior的餐厅风格相关联的新餐厅照片数据集。然后我们提出一种深度多示例多标签学习（MIML）框架来处理餐厅风格分类任务的独特问题设定。我们采用两步自助策略来训练一个多标签卷积神经网络（CNN）。该多标签CNN随后用于计算与某餐厅关联的所有图像的餐厅风格置信度分数。计算出的置信度分数进一步用于训练每个餐厅风格标签的最终二分类器。训练完成后，可通过训练好的多标签CNN和SVM模型分析餐厅照片来刻画餐厅风格。实验评估表明，当有足量用户上传照片时，我们这种基于众包的方法能有效推断餐厅风格。