StyleEDL：面向图像情感分布学习的风格引导高阶注意力网络
计算机视觉与模式识别
2023-08-08 v1 多媒体
摘要
随着通过图像表达情感的趋势，情感分布学习受到越来越多的关注。针对由人的主观性引起的情感模糊性，以往大量方法通常侧重于从图像整体或显著部分学习合适的表征。然而，它们很少考虑与风格信息建立联系，尽管这有助于更好地理解图像。本文提出一种用于图像情感分布学习的风格引导高阶注意力网络，称为StyleEDL，它通过挖掘视觉内容的层次化风格信息来交互式地学习图像风格感知表征。具体而言，我们考虑挖掘基于GRAM的风格表征的层内与层间相关性，同时利用对抗约束的高阶注意力机制来捕获细微视觉部分之间的潜在交互。此外，我们引入风格图卷积网络来动态生成内容依赖的情感表征，以裨益最终的情感分布学习。在多个基准数据集上的大量实验证明了所提StyleEDL相较于最先进方法的有效性。代码发布于：https://github.com/liuxianyi/StyleEDL。
引用
@article{arxiv.2308.03000,
title = {StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning},
author = {Peiguang Jing and Xianyi Liu and Ji Wang and Yinwei Wei and Liqiang Nie and Yuting Su},
journal= {arXiv preprint arXiv:2308.03000},
year = {2023}
}
备注
8 pages, 5 figures, conference