多语言视觉情感概念匹配
计算与语言
2016-06-09 v1 计算机视觉与模式识别
信息检索
多媒体
摘要
文化在视觉情感感知中的影响最近引起了多媒体研究的关注。在本研究中，我们提供了强大的计算语言学工具，用于探索、检索和浏览一个包含 1.6 万个多语言情感视觉概念和 730 万张 Flickr 图像的数据集。首先，我们设计了一个有效的众包实验来收集与视觉概念相关的情感人类判断。然后，我们使用词嵌入在低维向量空间中表示这些概念，使我们能够扩展概念周围的含义，从而能够洞察不同语言之间的共性和差异。我们通过基于视觉语义相关性概念的全新评估任务，比较了多种概念表示。基于这些表示，我们设计了聚类方案来对多语言视觉概念进行分组，并使用基于众包情感标注以及视觉语义相关性的全新指标对其进行评估。所提出的聚类框架使我们能够深入分析完整的多语言数据集，并展示了在人脸数据子集上的应用，探索了与肖像相关的情感视觉概念的文化见解。
引用
@article{arxiv.1606.02276,
title = {Multilingual Visual Sentiment Concept Matching},
author = {Nikolaos Pappas and Miriam Redi and Mercan Topkara and Brendan Jou and Hongyi Liu and Tao Chen and Shih-Fu Chang},
journal= {arXiv preprint arXiv:1606.02276},
year = {2016}
}