PDANet：用于细粒度视觉情感回归的极性一致深度注意力网络
计算机视觉与模式识别
2019-09-13 v1 人工智能
多媒体
摘要
现有的视觉情感分析方法主要关注粗粒度情感分类，即为一幅图像赋予一个主导的离散情感类别。然而，这些方法不能很好地反映情感的复杂性与细微性。本文基于卷积神经网络（CNNs）研究视觉情感的细粒度回归问题。具体而言，我们提出了极性一致深度注意力网络（PDANet），一种将注意力融入带情感极性约束的CNN的新型网络架构。首先，我们提出将空间与通道注意力同时嵌入CNN用于视觉情感回归，其联合考虑了各通道上的局部空间连接模式以及不同通道间的相互依赖关系。其次，我们基于弱监督情感极性设计了一种新的回归损失，即极性一致回归（PCR）损失，以引导注意力图的生成。通过优化PCR损失，PDANet可生成保持极性的注意力图，从而提升情感回归性能。我们在IAPS、NAPS与EMOTIC数据集上进行了充分实验，结果表明所提PDANet在细粒度视觉情感回归上大幅优于当前最优方法。我们的源代码发布于：https://github.com/ZizhouJia/PDANet。
引用
@article{arxiv.1909.05693,
title = {PDANet: Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression},
author = {Sicheng Zhao and Zizhou Jia and Hui Chen and Leida Li and Guiguang Ding and Kurt Keutzer},
journal= {arXiv preprint arXiv:1909.05693},
year = {2019}
}
备注
Accepted by ACM Multimedia 2019