从像素到情感：微调CNN用于视觉情感预测
计算机视觉与模式识别
2017-01-30 v2 多媒体
摘要
视觉多媒体已成为我们数字社交生活中不可分割的一部分，它们常常捕捉到与深厚情感相连的瞬间。自动视觉情感分析工具能够提供提取这些媒体中嵌入的丰富感受和潜在倾向的手段。在这项工作中，我们探索了卷积神经网络（CNNs）——如今在计算机视觉领域事实上的计算机器学习工具——如何被专门应用于视觉情感预测任务。我们通过使用最先进的CNN进行微调实验，并通过严谨的架构分析，提出了若干改进，这些改进在来自流行社交媒体平台的图像数据集上取得了优于现有技术的准确率。我们还展示了网络学习到的与图像情感相关联的局部模式的可视化，以洞察模型如何感知视觉正向性（或负向性）。
引用
@article{arxiv.1604.03489,
title = {From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction},
author = {Victor Campos and Brendan Jou and Xavier Giro-i-Nieto},
journal= {arXiv preprint arXiv:1604.03489},
year = {2017}
}
备注
Accepted for publication in Image and Vision Computing. Models and source code available at https://github.com/imatge-upc/sentiment-2016