SentiFormer：基于Transformer的元数据增强图像情感分析
计算机视觉与模式识别
2025-02-24 v1 人工智能
摘要
随着越来越多的internet用户在线上发布图片以表达日常情绪，图像情感分析正受到日益关注。最近的研究者倾向于设计不同的神经网络从图像中提取视觉特征以进行情感分析。尽管取得了显著进展，但在该任务中尚未充分探索用于描述图像的数据（如文本描述和关键词标签）的元数据。在本文中，我们提出了一种 novel 的基于Transformer的元数据增强情感分析方法（SentiFormer），以统一框架融合多种元数据与对应图像。具体而言，我们首先获取图像的多种元数据并统一其表征。为适应学习每个元数据适当权重的需求，我们设计了自适应相关学习模块，以突出显示更有效的信息同时抑制较弱的信息。此外，我们进一步开发了跨模态融合模块，用于融合自适应学习到的表征并进行最终预测。在针对三个公开数据集进行的大量实验表明，我们提出的方法在性能和合理性方面具有优势。
关键词
引用
@article{arxiv.2502.15322,
title = {SentiFormer: Metadata Enhanced Transformer for Image Sentiment Analysis},
author = {Bin Feng and Shulan Ruan and Mingzheng Yang and Dongxuan Han and Huijie Liu and Kai Zhang and Qi Liu},
journal= {arXiv preprint arXiv:2502.15322},
year = {2025}
}