多模态情感分类
计算机视觉与模式识别
2019-04-01 v1 计算与语言
摘要
大多数 NLP 与计算机视觉任务受限于标注数据的稀缺。在社交媒体情感分类及其他相关任务中，标签（hashtag）已被用作标注数据的指示符。随着社交媒体中表情符号（emoji）使用的快速增长，表情符号被用作主要社交 NLP 任务的附加特征。然而，在由图像与文本共同组成的多媒体帖子情形下，这方面探索较少。与此同时，我们已看到将领域知识引入以提升机器对文本理解的兴趣激增。在本文中，我们探究表情符号的域知识是否能提升情感分类任务的准确率。我们利用最先进的深度学习架构，挖掘社交媒体帖子中不同模态对情感分类任务的重要性。我们的实验表明，三种模态（文本、表情符号与图像）编码了不同的情感表达信息，因此可相互补充。我们的结果还表明，表情符号语义依赖于文本上下文，且表情符号与文本结合比单独考虑编码更优的信息。在 55 万帖子的训练数据下取得了 71.98% 的最高准确率。
引用
@article{arxiv.1903.12520,
title = {Multimodal Emotion Classification},
author = {Anurag Illendula and Amit Sheth},
journal= {arXiv preprint arXiv:1903.12520},
year = {2019}
}
备注
Accepted at the 2nd Emoji Workshop co-located with The Web Conference 2019