图像情感理解的高层概念
计算机视觉与模式识别
2017-05-09 v1
摘要
本文旨在通过使用高层概念（HLCs）来弥合图像内容与所引发的观看者情感反应之间的情感鸿沟。与仅依赖低级特征或将卷积神经网络（CNN）用作黑盒的先前工作不同，我们以一种显式方式使用由预训练CNN生成的高层概念，以研究这些高层概念与一组（小的）Ekman情感类别之间的关系/关联。作为概念验证，我们首先提出一个线性混合模型来建模这些关系，所得计算框架使我们能够确定每个情感类别与某些高层概念（物体和场景）之间的关联。该线性模型进一步扩展到使用支持向量回归（SVR）的非线性模型，旨在利用从图像中提取的低级图像特征和高层概念来预测观看者的情感反应。这些特定类别的回归器随后被组装成一个回归器集成，为从图像预测观看者情感反应提供了灵活且有效的预测器。实验结果表明，我们的结果与现有方法相当，同时清晰展示了高层概念与情感类别之间的关联，而这显然在大多数现有工作中是缺失的。
引用
@article{arxiv.1705.02751,
title = {High-Level Concepts for Affective Understanding of Images},
author = {Afsheen Rafaqat Ali and Usman Shahid and Mohsen Ali and Jeffrey Ho},
journal= {arXiv preprint arXiv:1705.02751},
year = {2017}
}