微笑，要快乐 :) 用于视觉情感分析的表情符号嵌入
计算机视觉与模式识别
2020-08-11 v3
摘要
由于缺乏大规模数据集，视觉情感分析中的主流方法是利用在 ImageNet 等大型数据集上训练用于对象分类的模型。然而，对象本身不具有情感色彩，这阻碍了此类任务中迁移学习应有的收益。本工作中，我们提出通过学习一种新颖的、与情感对齐的图像嵌入来克服该问题，该嵌入更适于后续视觉情感分析。我们的嵌入利用了社交媒体大规模易得数据中表情符号与图像之间的精细关联。表情符号语言无关、一致且携带明确的情感信号，这使其成为学习情感对齐嵌入的极佳代理。因此，我们构建了一个从 Twitter 收集的包含 400 万张图像及其关联表情符号的新数据集。我们以表情符号预测任务为代理训练了一个用于图像嵌入的深度神经模型。我们的评估表明，所提嵌入在多个情感分析基准上一致优于流行的基于对象的对应方法。此外，无需额外技巧，我们紧凑、有效且简单的嵌入在这些公开基准上优于更复杂且定制化的先进深度模型。另外，我们引入了一种基于视觉情感响应的新颖表情符号表示，这有助于更深入理解表情符号模态及其在社交媒体上的使用。
引用
@article{arxiv.1907.06160,
title = {Smile, Be Happy :) Emoji Embedding for Visual Sentiment Analysis},
author = {Ziad Al-Halah and Andrew Aitken and Wenzhe Shi and Jose Caballero},
journal= {arXiv preprint arXiv:1907.06160},
year = {2020}
}
备注
International Conference on Computer Vision (ICCV 2019) Workshops. Project page and the Visual Smiley Dataset: https://www.cs.utexas.edu/~ziad/emoji_visual_sentiment.html