中文

在评论数据集中,一张图片胜过千言万语吗?

计算机视觉与模式识别 2016-06-27 v1 计算与语言 信息检索 机器学习 神经与进化计算

摘要

尽管文本评论在许多基于推荐的系统中已变得突出,但在没有图片的情况下,针对文本评论提供相关视觉线索的自动化框架,是数据挖掘和机器学习研究者面临的一种新型任务。推荐与评论内容相关的图片,可以通过提高评论的有效性而显著惠及用户。我们提出了一个基于深度学习的框架,用于自动:(1)为评论数据集中可用的图像打标签,(2)为每个没有标题的图像生成标题,以及(3)通过推荐相应评论者可能未上传的相关图像来增强每条评论。我们使用Yelp挑战数据集评估了所提出的框架。虽然该特定数据集中有一小部分图像被正确标注了标题,但大多数图片没有任何关联文本。此外,评论与图像之间没有映射关系。不过,每张图像都有一个对应的、拍摄该图片的商家标签。整体数据设置以及建立映射所需关键信息的缺失,使得为评论推荐图像的问题成为一项重大挑战。定性和定量评估表明,我们提出的框架通过自动生成标题、打标签和推荐,为映射评论与图像提供了高质量的增强。

关键词

引用

@article{arxiv.1606.07496,
  title  = {Is a Picture Worth Ten Thousand Words in a Review Dataset?},
  author = {Roberto Camacho Barranco and Laura M. Rodriguez and Rebecca Urbina and M. Shahriar Hossain},
  journal= {arXiv preprint arXiv:1606.07496},
  year   = {2016}
}

备注

10 pages, 11 figures, "for associated results, see http://http://auto-captioning.herokuapp.com/" "submitted to DLRS 2016 workshop"