使用渐进训练与域迁移深度网络的鲁棒图像情感分析

在线用户生成内容的情感分析对许多社交媒体分析任务十分重要。研究者主要依赖文本情感分析来开发预测政治选举、衡量经济指标等的系统。最近，社交媒体用户越来越多地使用图像和视频来表达观点和分享经验。此类大规模视觉内容的情感分析有助于更好地提取用户对事件或话题（如图像推文中所见）的情感，因此从视觉内容预测情感是对文本情感分析的补充。受利用大规模但含噪训练数据解决极具挑战性的图像情感分析问题的需求驱动，我们采用卷积神经网络（CNN）。我们首先设计了一种适用于图像情感分析的 CNN 架构。通过使用基线情感算法标注 Flickr 图像，我们获得了五十万训练样本。为利用此类含噪机器标注数据，我们采用渐进策略微调深度网络。此外，我们通过使用少量人工标注的 Twitter 图像引入域迁移，提升了在 Twitter 图像上的性能。我们在人工标注的 Twitter 图像上进行了大量实验。结果表明，所提出的 CNN 在图像情感分析中能取得优于对比算法的性能。