探索情绪结构的多模态情感分析
机器学习
2018-05-28 v1 机器学习
应用统计
摘要
我们提出了一种多模态情感分析的新方法，使用结合视觉分析与自然语言处理的深度神经网络。我们的目标不同于预测句子表达积极或消极情感的标准情感分析目标；相反，我们旨在推断用户的潜在情绪状态。因此，我们专注于预测用户附加在其 Tumblr 帖子上的情绪词标签，将其视为“自我报告情绪”。我们证明了结合文本和图像特征的多模态模型优于仅基于图像或文本的单独模型。我们模型的结果是可解释的，自动生成与情绪相关的合理词表。我们探索了模型所隐含的情绪结构，并将其与心理学文献中提出的结构进行比较，并在一组用于心理学研究的图像上验证了我们的模型。最后，我们的工作也为日益增长的对社交网络上图像（包括照片与模因）的学术研究提供了一个有用的工具。
引用
@article{arxiv.1805.10205,
title = {Multimodal Sentiment Analysis To Explore the Structure of Emotions},
author = {Anthony Hu and Seth Flaxman},
journal= {arXiv preprint arXiv:1805.10205},
year = {2018}
}
备注
Accepted as a conference paper at KDD 2018