时尚照片的网民风格评论:数据集与多样性度量
计算机视觉与模式识别
2018-02-01 v1
摘要
近年来,深度神经网络模型在图像描述任务中取得了有前景的结果。然而,当前工作生成的仅描述浅层外观(如类型、颜色)的“平淡”句子不满足网民风格,导致缺乏互动性、上下文和用户意图。为解决这个问题,我们提出网民风格评论(NSC),自动为用户贡献的时尚照片生成特征性评论。我们致力于以生动的“网民”风格调节评论,反映特定社交社区中的文化,并希望促进与用户的更多互动。在这项工作中,我们设计了一个由三个主要组件组成的新颖框架:(1)我们构建了一个名为 NetiLook 的大规模服装数据集,包含 30 万条带有 500 万条评论的帖子,以发现网民风格评论。(2)我们提出三种独特的度量来估计评论的多样性。(3)我们通过将主题模型与神经网络结合来带来多样性,弥补传统图像描述工作的不足。在 Flickr30k 和我们的 NetiLook 数据集上进行实验,我们证明了所提出的方法有利于时尚照片评论,并在准确性和多样性上改进了图像描述任务。
引用
@article{arxiv.1801.10300,
title = {Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures},
author = {Wen Hua Lin and Kuan-Ting Chen and Hung Yueh Chiang and Winston Hsu},
journal= {arXiv preprint arXiv:1801.10300},
year = {2018}
}
备注
The Web Conference (WWW) 2018